Repolode
muchdogesec

muchdogesec/history4feed

Wayback Machineから過去の記事を取得し、RSSまたはAtomフィードの全文履歴アーカイブを構築します。

スター
182
フォーク
5
未解決の Issue
2
最終コミット
2 か月前

これは何?

多くのRSSフィードやAtomフィードに掲載されるのは最新の数件の記事だけで、フィード形式には過去の記事をさかのぼる方法がありません。history4feedは、フィードURLを受け取り、Wayback Machineのスナップショットをダウンロードして、過去の各スナップショットに含まれる重複のない記事をすべて収集します。

各記事について、本文のHTML版をダウンロードし、記事レコードをデータベースに保存します。アーカイブした記事はAPI経由でJSONとして取得したり、新しいRSSフィードとして公開したりできます。このプロジェクトはDocker Composeで起動するDjangoのWebサーバーとして動作し、エンドポイントの確認にはSwagger UIを利用できます。

このプロジェクトはObstractsのWeb版でバックエンドとして使われています。Web版には、このコードベースにはない追加機能があります。

主な機能

  • 01指定したRSSまたはAtomフィードURLのWayback Machineアーカイブをダウンロードします。
  • 02過去のフィードスナップショットから、重複のない記事をすべて特定します。
  • 03各記事の全文HTMLを取得し、データベースに保存します。
  • 04アーカイブした記事をJSONまたはRSSフィードとして出力します。
  • 05Swagger UIを備えたDjango APIを提供し、Docker Composeで実行できます。

ユースケース

  • フィードに最新記事しか表示されない、長年運営されているブログの過去記事をすべて復元する。
  • 調査用に、脅威インテリジェンスブログの全文アーカイブを構築する。
  • ブログの過去記事を1つのRSSフィードとして再公開し、フィードリーダーやアグリゲーターで読めるようにする。

クイックスタート

  1. 1

    リポジトリをクローンする

    git clone https://github.com/muchdogesec/history4feed
  2. 2

    テンプレートから .env 設定ファイルを作成する

    cp .env.example .env
  3. 3

    Docker イメージをビルドする

    sudo docker compose build
  4. 4

    サーバーを起動し、http://127.0.0.1:8002/ を開く

    sudo docker compose up

使う前に知っておきたいこと

  • 実行するには、Docker と設定済みの .env ファイルが必要です。
  • Wayback Machine のアーカイブに依存するため、カバー範囲はアーカイブされた内容によって異なります。

トピック

よくある質問

history4feed とは?
Wayback Machineから過去の記事を取得し、RSSまたはAtomフィードの全文履歴アーカイブを構築します。 多くのRSSフィードやAtomフィードに掲載されるのは最新の数件の記事だけで、フィード形式には過去の記事をさかのぼる方法がありません。history4feedは、フィードURLを受け取り、Wayback Machineのスナップショットをダウンロードして、過去の各スナップショットに含まれる重複のない記事をすべて収集します。
history4feed は無料で使えますか?ライセンスは?
history4feed は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
history4feed は今もメンテナンスされていますか?
半年以内に更新あり。history4feed の最終コミットは 2026年9月1日 です。
history4feed は何に使えますか?
フィードに最新記事しか表示されない、長年運営されているブログの過去記事をすべて復元する。 調査用に、脅威インテリジェンスブログの全文アーカイブを構築する。 ブログの過去記事を1つのRSSフィードとして再公開し、フィードリーダーやアグリゲーターで読めるようにする。
history4feed のインストール方法は?
リポジトリをクローンする: git clone https://github.com/muchdogesec/history4feed テンプレートから .env 設定ファイルを作成する: cp .env.example .env Docker イメージをビルドする: sudo docker compose build サーバーを起動し、http://127.0.0.1:8002/ を開く: sudo docker compose up
history4feed はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/muchdogesec/history4feed

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト