農業、生物学、気候、ネットワークなど幅広い分野の高品質なオープンデータセットを、テーマ別にまとめた厳選リスト。
bytewax/awesome-public-real-time-datasets
金融、交通、気象、ニュース、サイバーセキュリティなど、リアルタイムで配信・更新される有料・公開データソースの厳選リスト。
- スター
- 2,954
- フォーク
- 259
- 未解決の Issue
- 22
- 最終コミット
- 3 か月前
これは何?
HTTPポーリング、WebSockets、ストリーミングプロトコルでライブデータを提供するデータソースを集めた、awesome形式のリストです。掲載項目は無料と有料に分けられ、暗号資産や株式市場のフィード、公共交通機関や車両の追跡、気象・環境センサー、ニュースAPI、脅威インテリジェンスのフィード、スポーツのスコアなど、分野ごとに大まかに分類されています。
各項目には提供元のドキュメントへのリンクがあり、フィードに含まれるデータや、WebSocketエンドポイント、REST API、Kafka形式のストリームなど、アクセス方法が簡潔に記載されています。無料プランのレート制限やデータの遅延など、利用上の制約を示すものもあります。
ストリーミングパイプラインやダッシュボード、プロトタイプを開発する際に、テストに使える実データソースを探すのに便利です。また、外部フィードを使わずにテストできる合成データジェネレーターもいくつか掲載されています。
主な機能
- 01WebSocketまたはRESTで利用できる、暗号資産、株式、外国為替などの市場データフィードを網羅
- 02公共交通機関、鉄道、航空、海運の追跡データソースを収録
- 03気象、大気質、地震、環境センサーのフィードを掲載
- 04無料のデータソースと有料の商用プロバイダーを区分
- 05脅威インテリジェンスのフィードと、テスト用の合成データジェネレーターを掲載
ユースケース
- トレーディングダッシュボードのプロトタイプに使うライブ市場データフィードを探す
- ストリーミングパイプラインのデモ用に、リアルタイムの交通または気象データを調達する
- KafkaやPulsarのコンシューマーをテストするため、合成イベントストリームを生成する
使う前に知っておきたいこと
- 掲載されているソースの多くは、無料プランに利用制限があるか、有料プランまたはAPIキーが必要です。
- ベータ版や非公式のものもあり、スクレイピングが必要なものもあるため、予告なく変更されたり動作しなくなったりする場合があります。
トピック
よくある質問
- awesome-public-real-time-datasets とは?
- 金融、交通、気象、ニュース、サイバーセキュリティなど、リアルタイムで配信・更新される有料・公開データソースの厳選リスト。 HTTPポーリング、WebSockets、ストリーミングプロトコルでライブデータを提供するデータソースを集めた、awesome形式のリストです。掲載項目は無料と有料に分けられ、暗号資産や株式市場のフィード、公共交通機関や車両の追跡、気象・環境センサー、ニュースAPI、脅威インテリジェンスのフィード、スポーツのスコアなど、分野ごとに大まかに分類されています。
- awesome-public-real-time-datasets は無料で使えますか?ライセンスは?
- awesome-public-real-time-datasets は CC0-1.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- awesome-public-real-time-datasets は今もメンテナンスされていますか?
- 半年以内に更新あり。awesome-public-real-time-datasets の最終コミットは 2026年7月10日 です。
- awesome-public-real-time-datasets は何に使えますか?
- トレーディングダッシュボードのプロトタイプに使うライブ市場データフィードを探す ストリーミングパイプラインのデモ用に、リアルタイムの交通または気象データを調達する KafkaやPulsarのコンシューマーをテストするため、合成イベントストリームを生成する
- awesome-public-real-time-datasets はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/bytewax/awesome-public-real-time-datasets
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
ストリーミングASR、話者ダイアライゼーション、ライブ翻訳、OpenAI/Deepgram互換APIに対応したセルフホスト型リアルタイム音声認識サーバー。
価格評価、バックテスト、データなど、クオンツ金融向けのオープンソースライブラリ、パッケージ、リソースを分野別にまとめた厳選リスト。
REST、GraphQL、WebSocket、SSE、Socket.IO、MQTTのリクエストを送信できる、Web・デスクトップ・CLI対応のオープンソースAPI開発エコシステム。
金融などのデータソースを接続し、Python、Excel、AIエージェント、REST APIに提供するオープンソースのPythonデータプラットフォーム。
AIモデルの仕様、料金、機能をまとめた、コミュニティ主導のオープンソースデータベース。公開APIから利用できます。