単発のHTTPリクエストからステルスブラウザー、解析、並行クロールとエクスポートまで対応するPython製Webスクレイピングフレームワーク。
ranahaani/GNews
Google Newsを検索し、記事をJSONで返す軽量なPythonパッケージ。オプションで本文も抽出できます。
- スター
- 1,018
- フォーク
- 153
- 未解決の Issue
- 0
- 最終コミット
- 11 日前
これは何?
GNewsはGoogle Newsを検索するためのPythonパッケージです。キーワード、トピック、地域、サイトを指定してGoogle NewsのRSSフィードを検索し、各記事のタイトル、概要、公開日、URL、配信元をJSONで返します。言語、国、期間、日付範囲、除外するサイトで検索結果を絞り込めます。
検索結果の取得に加えて、オプションのfulltext extraを使えば記事本文も取得できるため、本文を抽出するスクレイパーを自作する必要はありません。また、コマンドラインインターフェース、JSONおよびCSVへのエクスポート、検索メソッドのasync版も備えています。オプションのPlaywright extraを使うと、Google Newsのリダイレクトリンクを実際の記事URLに解決できます。
APIキーを渡して有効にするオプションのSearchApiバックエンドでは、ISO形式の日付やサムネイルなどのフィールドに加え、RSSの取得上限を超えるページネーションにも対応します。GNewsは、トラフィックのルーティングに標準的なrequests形式のプロキシ設定も利用できます。
主な機能
- 01キーワード、トピック、地域、サイトでGoogle Newsを検索し、結果をJSONで返します。
- 02言語、国、期間、日付範囲、除外するサイトで結果を絞り込めます。
- 03オプションのextraを使って記事本文を抽出できます。
- 04JSON出力に対応したコマンドラインインターフェースを提供します。
- 05結果をJSONおよびCSVファイルにエクスポートできます。
- 06すべての検索メソッドでasync版を利用できます。
ユースケース
- メディアモニタリングや分析のために、特定のトピックに関するニュース記事を収集する。
- PythonでGoogle Newsの検索結果を使ったニュースフィードやダッシュボードを構築する。
- センチメント分析やNLPの実験に使うニュースデータセットを作成する。
- コマンドラインから毎日の見出し取得をスクリプト化する。
クイックスタート
- 1
パッケージをインストールする
pip install gnews - 2
Pythonでキーワードのニュースを取得する
from gnews import GNews
使う前に知っておきたいこと
- 結果はGoogle News RSSフィードから取得されるため、出力はGoogle Newsの動作に依存します。
- 過度なスクレイピングを行うとIPアドレスがレート制限されることがあります。READMEでは、その対策として有料プロキシサービスを推奨しています。
- 記事全文の抽出とURLの解決には、オプションのextras(fulltext、playwright)とChromiumのインストールが必要です。
トピック
よくある質問
- GNews とは?
- Google Newsを検索し、記事をJSONで返す軽量なPythonパッケージ。オプションで本文も抽出できます。 GNewsはGoogle Newsを検索するためのPythonパッケージです。キーワード、トピック、地域、サイトを指定してGoogle NewsのRSSフィードを検索し、各記事のタイトル、概要、公開日、URL、配信元をJSONで返します。言語、国、期間、日付範囲、除外するサイトで検索結果を絞り込めます。
- GNews は無料で使えますか?ライセンスは?
- GNews は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- GNews は今もメンテナンスされていますか?
- 活発にメンテナンス中。GNews の最終コミットは 2026年10月9日 です。
- GNews は何に使えますか?
- メディアモニタリングや分析のために、特定のトピックに関するニュース記事を収集する。 PythonでGoogle Newsの検索結果を使ったニュースフィードやダッシュボードを構築する。 センチメント分析やNLPの実験に使うニュースデータセットを作成する。 コマンドラインから毎日の見出し取得をスクリプト化する。
- GNews のインストール方法は?
- パッケージをインストールする: pip install gnews Pythonでキーワードのニュースを取得する: from gnews import GNews
- GNews はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/ranahaani/GNews
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
認証なしでYouTube、Twitch、Zoomの配信や動画などからチャットを取得するPythonツール兼CLI。
実ブラウザーを操作するAIエージェントを構築できるオープンソースのPythonライブラリ
セルフホスト型のWebページ変更監視ツール。ページが更新されるとDiscord、Email、Slack、Telegram、webhookなどで通知します。
LLMとグラフベースのパイプラインを使い、プロンプトに基づいてWebサイトやローカル文書から構造化データを抽出するPythonライブラリ。
質問を計画し、Webやローカルの情報源を集め、任意のLLMプロバイダーで引用付きレポートを作成する自律型リサーチエージェント。