Coisas a funcionar
This commit is contained in:
commit
5a10cead6b
2
.gitignore
vendored
Normal file
2
.gitignore
vendored
Normal file
@ -0,0 +1,2 @@
|
||||
/videos/
|
||||
/videos.db
|
||||
22
database.rb
Normal file
22
database.rb
Normal file
@ -0,0 +1,22 @@
|
||||
# SPDX-License-Identifier: AGPL-3.0-only
|
||||
# SPDX-FileCopyrightText: 2023 Hugo Peixoto <hugo.peixoto@gmail.com>
|
||||
|
||||
require 'active_record'
|
||||
require 'sqlite3'
|
||||
|
||||
ActiveRecord::Base.establish_connection
|
||||
ActiveRecord::Base.logger = Logger.new(STDOUT)
|
||||
ActiveRecord::Base.logger.level = :warn
|
||||
ActiveRecord::Schema.define do
|
||||
create_table :videos, if_not_exists: true do |t|
|
||||
t.string :randname, index: { unique: true }
|
||||
t.json :metadata
|
||||
end
|
||||
|
||||
create_table :downloads, if_not_exists: true do |t|
|
||||
t.references :video, foreign_key: true
|
||||
t.bigint :size
|
||||
t.string :sha256
|
||||
t.string :email
|
||||
end
|
||||
end
|
||||
47
gems.locked
Normal file
47
gems.locked
Normal file
@ -0,0 +1,47 @@
|
||||
GEM
|
||||
remote: https://rubygems.org/
|
||||
specs:
|
||||
activemodel (7.0.6)
|
||||
activesupport (= 7.0.6)
|
||||
activerecord (7.0.6)
|
||||
activemodel (= 7.0.6)
|
||||
activesupport (= 7.0.6)
|
||||
activesupport (7.0.6)
|
||||
concurrent-ruby (~> 1.0, >= 1.0.2)
|
||||
i18n (>= 1.6, < 2)
|
||||
minitest (>= 5.1)
|
||||
tzinfo (~> 2.0)
|
||||
concurrent-ruby (1.2.2)
|
||||
i18n (1.14.1)
|
||||
concurrent-ruby (~> 1.0)
|
||||
minitest (5.19.0)
|
||||
mustermann (3.0.0)
|
||||
ruby2_keywords (~> 0.0.1)
|
||||
nio4r (2.5.9)
|
||||
puma (6.3.0)
|
||||
nio4r (~> 2.0)
|
||||
rack (2.2.7)
|
||||
rack-protection (3.0.6)
|
||||
rack
|
||||
ruby2_keywords (0.0.5)
|
||||
sinatra (3.0.6)
|
||||
mustermann (~> 3.0)
|
||||
rack (~> 2.2, >= 2.2.4)
|
||||
rack-protection (= 3.0.6)
|
||||
tilt (~> 2.0)
|
||||
sqlite3 (1.6.3-x86_64-linux)
|
||||
tilt (2.2.0)
|
||||
tzinfo (2.0.6)
|
||||
concurrent-ruby (~> 1.0)
|
||||
|
||||
PLATFORMS
|
||||
x86_64-linux
|
||||
|
||||
DEPENDENCIES
|
||||
activerecord
|
||||
puma
|
||||
sinatra
|
||||
sqlite3
|
||||
|
||||
BUNDLED WITH
|
||||
2.4.16
|
||||
9
gems.rb
Normal file
9
gems.rb
Normal file
@ -0,0 +1,9 @@
|
||||
# SPDX-License-Identifier: AGPL-3.0-only
|
||||
# SPDX-FileCopyrightText: 2023 Hugo Peixoto <hugo.peixoto@gmail.com>
|
||||
|
||||
source 'https://rubygems.org'
|
||||
|
||||
gem 'activerecord'
|
||||
gem 'puma'
|
||||
gem 'sinatra'
|
||||
gem 'sqlite3'
|
||||
24
import-csv.rb
Normal file
24
import-csv.rb
Normal file
@ -0,0 +1,24 @@
|
||||
# SPDX-License-Identifier: AGPL-3.0-only
|
||||
# SPDX-FileCopyrightText: 2023 Hugo Peixoto <hugo.peixoto@gmail.com>
|
||||
|
||||
require 'json'
|
||||
require './database.rb'
|
||||
require './models.rb'
|
||||
|
||||
i = 0
|
||||
k = 2000
|
||||
File.readlines(ARGV[0]).each_slice(k) do |lines|
|
||||
start = Time.now
|
||||
|
||||
ActiveRecord::Base.transaction do
|
||||
lines.each do |line|
|
||||
metadata = JSON.parse(line)
|
||||
Video.where(randname: metadata["randname"]).first_or_create({ metadata: metadata })
|
||||
end
|
||||
end
|
||||
|
||||
finish = Time.now
|
||||
|
||||
i += k
|
||||
puts "done #{i} (#{finish - start})"
|
||||
end
|
||||
20
index.html.erb
Normal file
20
index.html.erb
Normal file
@ -0,0 +1,20 @@
|
||||
<h1>Vamos arquivar o SAPO Vídeos</h1>
|
||||
|
||||
<ol>
|
||||
<li>Faz download do <a href="">programa</a></li>
|
||||
<li>
|
||||
Corre o programa a partir de uma pasta com espaço suficiente para descarregar o número de vídeos especificado:
|
||||
<pre>
|
||||
$ cd /pasta/com/bastante/espaço
|
||||
$ ./saca-sapos 1000 hugo.peixoto@gmail.com
|
||||
</pre>
|
||||
</li>
|
||||
<li>Quando o programa acabar, já está! Corre novamente para descarregar mais uns quantos vídeos.</li>
|
||||
<li>Eventualmente vamos contactar-te a pedir que nos mandes os vídeos que descarregaste</li>
|
||||
</ol>
|
||||
|
||||
<h2>Estatísticas</h2>
|
||||
|
||||
<p>Número de vídeos descarregados: <%= stats[:downloads]["total"].to_i %></p>
|
||||
<p>Tamanho total: <%= stats[:downloads]["bytes"].to_i / 1024 / 1024 %> MiB</p>
|
||||
<p>Tamanho médio: <%= stats[:downloads]["bytes"].to_i / 1024 / 1024 / stats[:downloads]["total"].to_i %> MiB/vídeo</p>
|
||||
58
main.rb
Normal file
58
main.rb
Normal file
@ -0,0 +1,58 @@
|
||||
# SPDX-License-Identifier: AGPL-3.0-only
|
||||
# SPDX-FileCopyrightText: 2023 Hugo Peixoto <hugo.peixoto@gmail.com>
|
||||
|
||||
require 'sinatra'
|
||||
|
||||
require './database.rb'
|
||||
require './models.rb'
|
||||
|
||||
get '/' do
|
||||
downloads = ActiveRecord::Base.connection.execute("
|
||||
SELECT
|
||||
COUNT(1) AS total,
|
||||
SUM(size) AS bytes
|
||||
FROM (select size from downloads group by video_id) as x;
|
||||
")[0]
|
||||
|
||||
stats = { downloads: downloads }
|
||||
|
||||
ERB
|
||||
.new(File.read("index.html.erb"), trim_mode: "<>-")
|
||||
.result_with_hash(stats: stats)
|
||||
end
|
||||
|
||||
get '/videos.json' do
|
||||
content_type 'application/json'
|
||||
|
||||
amount = params['amount'].to_i
|
||||
|
||||
if amount > 100_000
|
||||
{ error: "greedy" }.to_json
|
||||
else
|
||||
{ videos: Video.order("RANDOM()").limit(amount).pluck(:randname) }.to_json
|
||||
end
|
||||
end
|
||||
|
||||
post '/video' do
|
||||
content_type 'application/json'
|
||||
|
||||
data = JSON.parse(request.body.read)
|
||||
|
||||
Download.create!(
|
||||
video: Video.find_by!(randname: data["video_id"]),
|
||||
size: data["size"],
|
||||
sha256: data["sha256"],
|
||||
email: data["email"],
|
||||
)
|
||||
|
||||
{ status: 'ok' }.to_json
|
||||
end
|
||||
|
||||
get '/config.json' do
|
||||
content_type 'application/json'
|
||||
{
|
||||
videos_url: "https://sapo.pxto.pt/videos.json",
|
||||
upload_url: "https://sapo.pxto.pt/video",
|
||||
max_amount: 100_000,
|
||||
}.to_json
|
||||
end
|
||||
13
models.rb
Normal file
13
models.rb
Normal file
@ -0,0 +1,13 @@
|
||||
# SPDX-License-Identifier: AGPL-3.0-only
|
||||
# SPDX-FileCopyrightText: 2023 Hugo Peixoto <hugo.peixoto@gmail.com>
|
||||
|
||||
require 'active_record'
|
||||
require 'date'
|
||||
|
||||
class Video < ActiveRecord::Base
|
||||
has_many :downloads
|
||||
end
|
||||
|
||||
class Download < ActiveRecord::Base
|
||||
belongs_to :video
|
||||
end
|
||||
106
saca-sapos
Executable file
106
saca-sapos
Executable file
@ -0,0 +1,106 @@
|
||||
#!/usr/bin/env bash
|
||||
# SPDX-License-Identifier: AGPL-3.0-only
|
||||
# SPDX-FileCopyrightText: 2023 Hugo Peixoto <hugo.peixoto@gmail.com>
|
||||
|
||||
set -ueo pipefail
|
||||
|
||||
test_command() {
|
||||
command -v "$1" > /dev/null || (
|
||||
echo "$1: comando não instalado"
|
||||
exit 1;
|
||||
)
|
||||
}
|
||||
|
||||
test_command curl
|
||||
test_command jq
|
||||
test_command xargs
|
||||
test_command sha256sum
|
||||
test_command stat
|
||||
|
||||
PROCS=${PROCS:=4}
|
||||
SERVER="https://sapo.pxto.pt/config.json"
|
||||
export SAPO_EXEC="$0"
|
||||
|
||||
get_config() {
|
||||
curl -s "$SERVER"
|
||||
}
|
||||
|
||||
indexer() {
|
||||
AMOUNT="$1"
|
||||
export SAPO_CONTACT="$2"
|
||||
|
||||
CONFIG="$(get_config)"
|
||||
export SAPO_CONFIG_VIDEOS_URL="$(echo "$CONFIG" | jq -r .videos_url)"
|
||||
export SAPO_CONFIG_UPLOAD_URL="$(echo "$CONFIG" | jq -r .upload_url)"
|
||||
export SAPO_CONFIG_MAX="$(echo "$CONFIG" | jq -r .max_amount)"
|
||||
|
||||
if [ "$AMOUNT" -gt "$SAPO_CONFIG_MAX" ]; then
|
||||
echo "Não podes pedir mais do que $SAPO_CONFIG_MAX vídeos!" >&2
|
||||
exit 1;
|
||||
fi
|
||||
|
||||
VIDEOS="$(curl -s "$SAPO_CONFIG_VIDEOS_URL?amount=$AMOUNT")"
|
||||
|
||||
if [ "$(echo "$VIDEOS" | jq -r .error)" = "greedy" ]; then
|
||||
echo "Não podes pedir mais do que $SAPO_CONFIG_MAX vídeos!" >&2
|
||||
exit 1;
|
||||
fi
|
||||
|
||||
mkdir -p videos
|
||||
echo "$VIDEOS" |
|
||||
jq -r '.videos[]' |
|
||||
xargs "-P$PROCS" -I {} "$SAPO_EXEC" single {}
|
||||
}
|
||||
|
||||
download() {
|
||||
VIDEO_ID="$1"
|
||||
VIDEO_URL="https://rd.videos.sapo.pt/$VIDEO_ID/mov/1"
|
||||
FILENAME="videos/$VIDEO_ID.mp4"
|
||||
|
||||
if [ -f "$FILENAME" ]; then
|
||||
SHA=$(sha256sum "$FILENAME" | awk '{print $1}')
|
||||
SIZE=$(stat --format=%s "$FILENAME")
|
||||
MB=$(( $SIZE / 1024 / 1024 ))
|
||||
echo "repetido: $VIDEO_ID / sha256:$SHA / ${MB} MiB"
|
||||
else
|
||||
curl -Ls "$VIDEO_URL" -o "$FILENAME"
|
||||
SHA=$(sha256sum "$FILENAME" | awk '{print $1}')
|
||||
SIZE=$(stat --format=%s "$FILENAME")
|
||||
MB=$(( $SIZE / 1024 / 1024 ))
|
||||
|
||||
PAYLOAD="$(jq -rc --null-input \
|
||||
--arg video_id "$VIDEO_ID" \
|
||||
--arg sha "$SHA" \
|
||||
--arg email "$SAPO_CONTACT" \
|
||||
--argjson size "$SIZE" \
|
||||
'{video_id: $video_id, sha256: $sha, size: $size, email: $email}')"
|
||||
curl -s "$SAPO_CONFIG_UPLOAD_URL" -H 'content-type: application/json' -d "$PAYLOAD" > /dev/null
|
||||
|
||||
echo "descarregado: $VIDEO_ID / sha256:$SHA / ${MB} MiB"
|
||||
fi
|
||||
}
|
||||
|
||||
case "$1" in
|
||||
"download")
|
||||
indexer "$2" "$3"
|
||||
;;
|
||||
"single")
|
||||
download "$2"
|
||||
;;
|
||||
"stats")
|
||||
BYTES="$(du -b videos/ | awk '{print $1}')"
|
||||
NUM="$(ls -1 videos/ | wc -l)"
|
||||
MB=$(( $BYTES / 1024 / 1024 ))
|
||||
MB_PER_VIDEO=$(( $MB / $NUM ))
|
||||
|
||||
echo "Número de vídeos: $NUM"
|
||||
echo "Tamanho total: $MB MiB"
|
||||
echo "Tamanho médio: $MB_PER_VIDEO MiB/vídeo"
|
||||
;;
|
||||
"test")
|
||||
get_config > /dev/null || (
|
||||
echo "A comunicação com o servidor falhou: $SERVER"
|
||||
exit 1;
|
||||
)
|
||||
echo "Tudo pronto!"
|
||||
esac
|
||||
Loading…
Reference in New Issue
Block a user