codelucas/newspaper

これは何？

主な機能

• 01URLから記事のタイトル、本文、著者、公開日を抽出
• 02記事内のメイン画像やすべての画像、埋め込み動画を検出
• 03組み込みのNLP機能でキーワードと要約を生成
• 04ニュースサイトをクロールして記事リンクやカテゴリを検出
• 05言語を自動検出し、35以上の言語に対応

ユースケース

• 複数のサイトから記事を収集するニュースアグリゲーターや監視パイプラインの構築
• NLP、検索インデックス作成、データセット構築に使う記事本文の抽出
• メタデータや画像とあわせた記事のアーカイブ
• 中国語など、英語以外のニュースコンテンツの処理

クイックスタート

1. 1

   pipでパッケージをインストールします

   pip3 install newspaper3k
2. 2

   READMEに記載されている公式のコーパスダウンロードスクリプトを実行します（NLP機能に必要です）

使う前に知っておきたいこと

• !Debian/UbuntuなどのLinuxシステムでは、libxml2やlibxsltなどの追加システムライブラリを先にインストールする必要があります。
• !キーワードや要約などのNLP機能を使うには、別途コーパスをダウンロードする必要があります。

トピック

よくある質問

newspaper とは？

ニュース記事をダウンロードし、本文、著者、公開日、画像、キーワード、要約を抽出するPython 3ライブラリ。 newspaper3kは、URLからニュース記事を取得し、生のHTMLを構造化データに変換するPython 3ライブラリです。記事のURLを指定すると、ページをダウンロードし、タイトル、本文、著者、公開日、メイン画像、埋め込み動画に加え、NLPで抽出したキーワードと要約を取得します。

newspaper は無料で使えますか？ライセンスは？

newspaper は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

newspaper は今もメンテナンスされていますか？

活発にメンテナンス中。newspaper の最終コミットは 2026年10月19日 です。

newspaper は何に使えますか？

複数のサイトから記事を収集するニュースアグリゲーターや監視パイプラインの構築 NLP、検索インデックス作成、データセット構築に使う記事本文の抽出 メタデータや画像とあわせた記事のアーカイブ 中国語など、英語以外のニュースコンテンツの処理

newspaper のインストール方法は？

pipでパッケージをインストールします: pip3 install newspaper3k READMEに記載されている公式のコーパスダウンロードスクリプトを実行します（NLP機能に必要です）

newspaper はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/codelucas/newspaper