From 91e1f3cf1d739f835b2143cb62f23300827032fd Mon Sep 17 00:00:00 2001 From: Hugo Peixoto Date: Fri, 28 Jul 2023 10:52:38 +0100 Subject: [PATCH] Adds readme --- README.md | 29 +++++++++++++++++++++++++++++ 1 file changed, 29 insertions(+) create mode 100644 README.md diff --git a/README.md b/README.md new file mode 100644 index 0000000..2d65565 --- /dev/null +++ b/README.md @@ -0,0 +1,29 @@ +# Saca-sapos + +Projecto de arquivar o videos.sapo.pt antes que desapareça (17 de setembro) + +Endereço do site com informação de como ajudar: + + +## Componentes + +### Crawler scripts + +Um bando de scripts para descobrir o máximo de video-ids possível. É composto pelos ficheiros `.sh`. + + +### Servidor de coordenação + +Um servidor que mantém e distribui video-ids para quem quiser ajudar a preservar a coisa descarregando os vídeos. +Escolhe N vídeos aleatórios, e vai mantendo um registo dos file sizes + sha256 dos vídeos descarregados. + + +### Programa de descarregamento + +O programa que pede ao servidor um bando de video-ids e os descarrega. É só ficheiro `saca-sapos`. + + +### Base de dados de video-ids e metadados + +Antes estava aqui neste repositório um videos.csv e um videos.jsonl, mas isso empatou o servidor de git por completo. Vou mandar isso para outro lado _soon™_. +