adbar/trafilatura

これは何？

主な機能

• 01サイトマップやRSS、Atom、JSONフィードからURLを発見し、フィルタリングと重複排除を行います。
• 02HTMLから本文、タイトル、著者、日付、カテゴリー、タグを抽出します。
• 03必要に応じてコメント、リンク、画像、表も抽出します。
• 04TXT、Markdown、CSV、JSON、HTML、XML、XML-TEI形式で出力します。
• 05公開中のURLと、事前にダウンロードしたHTMLファイルの両方を処理できます。
• 06Pythonライブラリとコマンドラインツールの両方で利用できます。

ユースケース

• NLPや言語学の研究に使うテキストコーパスの構築。
• 分析用にWebサイトやフィードからニュース記事を収集。
• LLMやRAGのパイプラインに入力するクリーンなWebテキストの準備。
• サイトごとのパーサーを書かずに記事の内容をスクレイピング。

クイックスタート

1. 1

   ドキュメントのインストールガイドに従ってTrafilaturaをインストールします

2. 2

   READMEのPythonの例を使ってfetch_urlとextractをインポートし、ページをダウンロードしてテキストとメタデータを抽出します

使う前に知っておきたいこと

• !v1.8.0より前のバージョンはApache 2.0ではなくGPLv3+ライセンスです。

トピック

よくある質問

trafilatura とは？

Webサイトをクロールし、HTMLから本文、メタデータ、コメントを抽出するPythonパッケージ兼CLI。 Trafilaturaは、Webからテキストを収集するためのPythonパッケージおよびコマンドラインツールです。サイトマップ、フィード、URLフィルタリングを使ったURLの発見から、ダウンロード、本文の抽出までをカバーします。タイトル、著者、日付などのメタデータに加え、必要に応じてコメント、リンク、画像、表も抽出できます。ヘッダー、フッター、ナビゲーションなどの不要な部分を除外し、記事の内容を残すことを目指しています。

trafilatura は無料で使えますか？ライセンスは？

trafilatura は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

trafilatura は今もメンテナンスされていますか？

活発にメンテナンス中。trafilatura の最終コミットは 2026年10月6日 です。

trafilatura は何に使えますか？

NLPや言語学の研究に使うテキストコーパスの構築。 分析用にWebサイトやフィードからニュース記事を収集。 LLMやRAGのパイプラインに入力するクリーンなWebテキストの準備。 サイトごとのパーサーを書かずに記事の内容をスクレイピング。

trafilatura のインストール方法は？

ドキュメントのインストールガイドに従ってTrafilaturaをインストールします READMEのPythonの例を使ってfetch_urlとextractをインポートし、ページをダウンロードしてテキストとメタデータを抽出します

trafilatura はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/adbar/trafilatura