Repolode
muchdogesec

muchdogesec/history4feed

利用 Wayback Machine 为 RSS 或 Atom 订阅源构建完整的全文历史归档。

Star
182
Fork
5
未关闭 Issue
2
最近提交
2个月前

这是什么?

大多数 RSS 和 Atom 订阅源只包含最新的几篇文章,而且订阅格式本身无法翻页查看旧内容。history4feed 通过输入订阅源地址,下载对应的 Wayback Machine 快照,从中收集所有不重复的文章。

对每篇文章,项目会下载 HTML 格式的正文内容,并将文章记录存入数据库。归档后的文章可通过 API 以 JSON 形式读取,也可以输出为新的 RSS 订阅源。项目基于 Django 构建,使用 Docker Compose 启动,并提供 Swagger UI 便于查看接口。

该项目也是 Obstracts 网页版所使用的后端,网页版在此基础上提供了更多功能。

核心功能

  • 01根据 RSS 或 Atom 订阅源地址下载 Wayback Machine 历史快照。
  • 02从各历史快照中识别所有不重复的文章。
  • 03抓取每篇文章的完整 HTML 正文并存入数据库。
  • 04将归档文章以 JSON 或 RSS 格式输出。
  • 05提供带 Swagger UI 的 Django API,可通过 Docker Compose 启动。

适用场景

  • 找回只在订阅源中保留最新文章的长期博客的全部历史文章。
  • 为研究工作构建威胁情报博客的完整全文归档。
  • 将博客的历史文章重新整理为一个 RSS 订阅源,供读者或聚合工具使用。

快速上手

  1. 1

    克隆代码仓库

    git clone https://github.com/muchdogesec/history4feed
  2. 2

    从模板创建 .env 配置文件

    cp .env.example .env
  3. 3

    构建 Docker 镜像

    sudo docker compose build
  4. 4

    启动服务器,然后访问 http://127.0.0.1:8002/

    sudo docker compose up

使用前须知

  • 运行前需要安装 Docker 并配置 .env 文件。
  • 依赖 Wayback Machine 的存档,因此覆盖范围取决于其已存档的内容。

标签

常见问题

history4feed 是什么?
利用 Wayback Machine 为 RSS 或 Atom 订阅源构建完整的全文历史归档。 大多数 RSS 和 Atom 订阅源只包含最新的几篇文章,而且订阅格式本身无法翻页查看旧内容。history4feed 通过输入订阅源地址,下载对应的 Wayback Machine 快照,从中收集所有不重复的文章。
history4feed 可以免费使用吗?用的什么许可证?
history4feed 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
history4feed 还在维护吗?
半年内有更新。history4feed 最近一次提交是在 2026年9月1日。
history4feed 适合用来做什么?
找回只在订阅源中保留最新文章的长期博客的全部历史文章。 为研究工作构建威胁情报博客的完整全文归档。 将博客的历史文章重新整理为一个 RSS 订阅源,供读者或聚合工具使用。
history4feed 怎么安装和运行?
克隆代码仓库: git clone https://github.com/muchdogesec/history4feed 从模板创建 .env 配置文件: cp .env.example .env 构建 Docker 镜像: sudo docker compose build 启动服务器,然后访问 http://127.0.0.1:8002/: sudo docker compose up
在哪里获取 history4feed?
源代码和安装说明在 GitHub 上:https://github.com/muchdogesec/history4feed

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目