Repolode
muchdogesec

muchdogesec/history4feed

Создаёт полнотекстовый архив публикаций RSS- или Atom-ленты, извлекая прошлые записи из Wayback Machine.

Звёзды
182
Форки
5
Открытые issues
2
Последний коммит
2 месяца назад

Что это?

Большинство RSS- и Atom-лент показывают лишь несколько последних публикаций, а форматы лент не позволяют просматривать более старые записи постранично. history4feed решает эту проблему: принимает URL ленты, загружает её снимки из Wayback Machine и собирает все уникальные публикации из архивных копий.

Для каждой публикации проект загружает HTML-версию статьи и сохраняет запись в базе данных. Затем архивные публикации можно получать через API в формате JSON или публиковать в виде новой RSS-ленты. Проект работает как веб-сервер Django, запускаемый с помощью Docker Compose; для изучения эндпоинтов доступен Swagger UI.

Проект служит бэкендом веб-версии Obstracts, в которой есть дополнительные функции, не входящие в эту кодовую базу.

Ключевые возможности

  • 01Загружает архивы Wayback Machine для указанного URL RSS- или Atom-ленты.
  • 02Находит все уникальные публикации в архивных снимках ленты.
  • 03Загружает полный HTML-контент каждой статьи и сохраняет его в базе данных.
  • 04Предоставляет архивные публикации в формате JSON или в виде RSS-ленты.
  • 05Предоставляет Django API со Swagger UI; запускается через Docker Compose.

Сценарии использования

  • Восстановление полного архива публикаций блога с многолетней историей, который показывает в ленте только последние записи.
  • Создание полнотекстового архива блогов о киберразведке для исследований.
  • Публикация архивных записей блога в единой RSS-ленте для программы чтения или агрегатора.

Быстрый старт

  1. 1

    Клонируйте репозиторий

    git clone https://github.com/muchdogesec/history4feed
  2. 2

    Создайте файл конфигурации .env из шаблона

    cp .env.example .env
  3. 3

    Соберите образ Docker

    sudo docker compose build
  4. 4

    Запустите сервер и откройте http://127.0.0.1:8002/

    sudo docker compose up

Что важно знать

  • Для запуска требуются Docker и настроенный файл .env.
  • Работа зависит от архивов Wayback Machine, поэтому охват определяется тем, что было заархивировано.

Темы

Частые вопросы

Что такое history4feed?
Создаёт полнотекстовый архив публикаций RSS- или Atom-ленты, извлекая прошлые записи из Wayback Machine. Большинство RSS- и Atom-лент показывают лишь несколько последних публикаций, а форматы лент не позволяют просматривать более старые записи постранично. history4feed решает эту проблему: принимает URL ленты, загружает её снимки из Wayback Machine и собирает все уникальные публикации из архивных копий.
history4feed можно использовать бесплатно? Какая у него лицензия?
history4feed распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
history4feed всё ещё поддерживается?
Обновлялся за последние 6 месяцев. Последний коммит в history4feed — 1 сент. 2026 г..
Для чего можно использовать history4feed?
Восстановление полного архива публикаций блога с многолетней историей, который показывает в ленте только последние записи. Создание полнотекстового архива блогов о киберразведке для исследований. Публикация архивных записей блога в единой RSS-ленте для программы чтения или агрегатора.
Как установить history4feed?
Клонируйте репозиторий: git clone https://github.com/muchdogesec/history4feed Создайте файл конфигурации .env из шаблона: cp .env.example .env Соберите образ Docker: sudo docker compose build Запустите сервер и откройте http://127.0.0.1:8002/: sudo docker compose up
Где скачать history4feed?
Исходный код и инструкции по установке — на GitHub: https://github.com/muchdogesec/history4feed

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Самостоятельно размещаемый сервис для отслеживания изменений на веб-страницах с уведомлениями в Discord, по Email, в Slack, Telegram, через вебхуки и другими способами.

35,1 тыс.2,2 тыс.PythonApache-2.0Обновлён позавчера