Repolode
muchdogesec

muchdogesec/history4feed

Cria um arquivo histórico completo e pesquisável em texto integral de um feed RSS ou Atom, recuperando publicações antigas da Wayback Machine.

Estrelas
182
Forks
5
Issues abertas
2
Último commit
há 2 meses

O que é?

A maioria dos feeds RSS e Atom lista apenas as publicações mais recentes, e os formatos de feed não oferecem uma maneira de voltar às entradas antigas. history4feed contorna essa limitação recebendo uma URL de feed, baixando as capturas desse feed na Wayback Machine e reunindo todas as publicações únicas encontradas nessas cópias históricas.

Para cada publicação, o projeto baixa uma versão HTML do conteúdo do artigo e armazena o registro em um banco de dados. As publicações arquivadas podem ser acessadas por uma API em JSON ou disponibilizadas como um novo feed RSS. O projeto é executado como um servidor web Django iniciado com Docker Compose, e sua Swagger UI permite explorar os endpoints.

O projeto é o backend usado pela versão web do Obstracts, que oferece recursos além do que está incluído neste repositório.

Recursos principais

  • 01Baixa arquivos da Wayback Machine para uma URL de feed RSS ou Atom.
  • 02Identifica todas as publicações únicas nas capturas históricas do feed.
  • 03Busca o conteúdo HTML completo de cada artigo e o armazena em um banco de dados.
  • 04Disponibiliza as publicações arquivadas em JSON ou como um feed RSS.
  • 05Oferece uma API Django com Swagger UI, executada via Docker Compose.

Casos de uso

  • Recuperar o arquivo completo de publicações de um blog antigo que só exibe as mais recentes no feed.
  • Criar um arquivo completo e pesquisável em texto integral de blogs de inteligência sobre ameaças para fins de pesquisa.
  • Republicar as publicações históricas de um blog em um único feed RSS para leitores ou agregadores.

Início rápido

  1. 1

    Clone o repositório

    git clone https://github.com/muchdogesec/history4feed
  2. 2

    Crie o arquivo de configuração .env a partir do modelo

    cp .env.example .env
  3. 3

    Crie a imagem Docker

    sudo docker compose build
  4. 4

    Inicie o servidor e abra http://127.0.0.1:8002/

    sudo docker compose up

Antes de usar

  • Requer Docker e um arquivo .env configurado para ser executado.
  • Depende dos arquivos do Wayback Machine, então a cobertura depende do que foi arquivado.

Tópicos

Perguntas frequentes

O que é history4feed?
Cria um arquivo histórico completo e pesquisável em texto integral de um feed RSS ou Atom, recuperando publicações antigas da Wayback Machine. A maioria dos feeds RSS e Atom lista apenas as publicações mais recentes, e os formatos de feed não oferecem uma maneira de voltar às entradas antigas. history4feed contorna essa limitação recebendo uma URL de feed, baixando as capturas desse feed na Wayback Machine e reunindo todas as publicações únicas encontradas nessas cópias históricas.
history4feed é gratuito? Qual é a licença?
history4feed é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
history4feed ainda é mantido?
Atualizado nos últimos 6 meses. O último commit de history4feed foi em 1 de set. de 2026.
Para que posso usar history4feed?
Recuperar o arquivo completo de publicações de um blog antigo que só exibe as mais recentes no feed. Criar um arquivo completo e pesquisável em texto integral de blogs de inteligência sobre ameaças para fins de pesquisa. Republicar as publicações históricas de um blog em um único feed RSS para leitores ou agregadores.
Como instalar history4feed?
Clone o repositório: git clone https://github.com/muchdogesec/history4feed Crie o arquivo de configuração .env a partir do modelo: cp .env.example .env Crie a imagem Docker: sudo docker compose build Inicie o servidor e abra http://127.0.0.1:8002/: sudo docker compose up
Onde consigo history4feed?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/muchdogesec/history4feed

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados