Go to file
2023-07-28 11:09:23 +01:00
.dockerignore Add dockerfiles 2023-07-28 10:37:52 +01:00
.gitignore Coisas a funcionar 2023-07-28 03:01:40 +01:00
config.ru Use puma directly 2023-07-28 11:09:23 +01:00
count.rb Add more crawler scripts 2023-07-28 10:48:07 +01:00
database.rb Coisas a funcionar 2023-07-28 03:01:40 +01:00
Dockerfile Use puma directly 2023-07-28 11:09:23 +01:00
gems.locked Coisas a funcionar 2023-07-28 03:01:40 +01:00
gems.rb Coisas a funcionar 2023-07-28 03:01:40 +01:00
get-category.sh Add crawler scripts 2023-07-28 10:47:33 +01:00
get-failures.sh Add crawler scripts 2023-07-28 10:47:33 +01:00
get-search.sh Add crawler scripts 2023-07-28 10:47:33 +01:00
get-tag.sh Add crawler scripts 2023-07-28 10:47:33 +01:00
get-username.sh Add crawler scripts 2023-07-28 10:47:33 +01:00
get.sh Add crawler scripts 2023-07-28 10:47:33 +01:00
import-csv.rb Coisas a funcionar 2023-07-28 03:01:40 +01:00
index.html.erb Coisas a funcionar 2023-07-28 03:01:40 +01:00
main.rb Coisas a funcionar 2023-07-28 03:01:40 +01:00
models.rb Coisas a funcionar 2023-07-28 03:01:40 +01:00
README.md Adds readme 2023-07-28 10:52:38 +01:00
saca-sapos Coisas a funcionar 2023-07-28 03:01:40 +01:00

Saca-sapos

Projecto de arquivar o videos.sapo.pt antes que desapareça (17 de setembro)

Endereço do site com informação de como ajudar: https://sapo.pxto.pt

Componentes

Crawler scripts

Um bando de scripts para descobrir o máximo de video-ids possível. É composto pelos ficheiros .sh.

Servidor de coordenação

Um servidor que mantém e distribui video-ids para quem quiser ajudar a preservar a coisa descarregando os vídeos. Escolhe N vídeos aleatórios, e vai mantendo um registo dos file sizes + sha256 dos vídeos descarregados.

Programa de descarregamento

O programa que pede ao servidor um bando de video-ids e os descarrega. É só ficheiro saca-sapos.

Base de dados de video-ids e metadados

Antes estava aqui neste repositório um videos.csv e um videos.jsonl, mas isso empatou o servidor de git por completo. Vou mandar isso para outro lado soon™.