金融、交通、気象、ニュース、サイバーセキュリティなど、リアルタイムで配信・更新される有料・公開データソースの厳選リスト。
awesomedata/awesome-public-datasets
農業、生物学、気候、ネットワークなど幅広い分野の高品質なオープンデータセットを、テーマ別にまとめた厳選リスト。
- スター
- 79,617
- フォーク
- 11,901
- 未解決の Issue
- 165
- 最終コミット
- 6 日前
これは何?
Awesome Public Datasetsは、一般公開されているデータセットを分野別にまとめた、コミュニティ運営のカタログです。農業、建築、生物学、化学、気候・天候、複雑ネットワーク、コンピューターネットワーク、サイバーセキュリティなどのカテゴリがあります。各項目にはデータセットの提供元へのリンクと、内容の簡単な説明が記載されています。
掲載されているデータセットのほとんどは無料で利用できますが、登録や支払いが必要なものもあります。このリストはツールのパイプラインで生成され、各項目にはリンクが現在有効かどうかを示すステータスマーカーが付いています。追加の提案は、リストを直接編集するのではなく、プロジェクトで定められた別の手順に沿って行います。
このプロジェクトは上海交通大学の研究室で始まり、現在はコミュニティ組織のもとでメンテナンスされています。特定の分野の学習データ、研究資料、ベンチマークの情報を探す際の出発点として役立ちます。
主な機能
- 01農業や生物学から気候、サイバーセキュリティまで、テーマ別にデータセットを整理。
- 02各項目に、データの内容を簡潔に説明した元データ提供元へのリンクを掲載。
- 03リンクが現在有効かどうかをステータスマーカーで表示。
- 04無料のデータセットに加え、有料または登録が必要なものも掲載。
- 05追加の提案は、文書化された別の手順に沿って実施。
ユースケース
- 特定分野の機械学習プロジェクトで使う学習データを探す。
- 学術研究に使えるベンチマークや研究用データセットを見つける。
- データパイプラインを構築する前に、公開データにどのようなものがあるかを調べる。
使う前に知っておきたいこと
- インストール可能なソフトウェアではなく、厳選されたデータセットへのリンク集のため、実行するものはありません。
- READMEに記載されているとおり、掲載されているデータセットの一部は無料ではありません。
- READMEによると、このファイルは自動生成されるため、直接編集しないでください。貢献する場合は別の手順に従ってください。
トピック
よくある質問
- awesome-public-datasets とは?
- 農業、生物学、気候、ネットワークなど幅広い分野の高品質なオープンデータセットを、テーマ別にまとめた厳選リスト。 Awesome Public Datasetsは、一般公開されているデータセットを分野別にまとめた、コミュニティ運営のカタログです。農業、建築、生物学、化学、気候・天候、複雑ネットワーク、コンピューターネットワーク、サイバーセキュリティなどのカテゴリがあります。各項目にはデータセットの提供元へのリンクと、内容の簡単な説明が記載されています。
- awesome-public-datasets は無料で使えますか?ライセンスは?
- awesome-public-datasets は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- awesome-public-datasets は今もメンテナンスされていますか?
- 活発にメンテナンス中。awesome-public-datasets の最終コミットは 2026年10月14日 です。
- awesome-public-datasets は何に使えますか?
- 特定分野の機械学習プロジェクトで使う学習データを探す。 学術研究に使えるベンチマークや研究用データセットを見つける。 データパイプラインを構築する前に、公開データにどのようなものがあるかを調べる。
- awesome-public-datasets はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/awesomedata/awesome-public-datasets
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
機械学習モデルの本番運用に向けた、デプロイ、監視、バージョン管理、スケーリング、セキュリティ関連のオープンソースライブラリをまとめた厳選リスト。
プログラミング、Web開発、機械学習、サイバーセキュリティなどを教える英語のYouTubeチャンネルをまとめた厳選リスト。
Microsoftが開発するLLMエージェントフレームワーク。論文の読解、モデルやファクターの実装、Kaggle形式の実験など、データ主導型のR&Dタスクを自動化します。
実験追跡、オーケストレーション、デプロイ、モニタリング、ベストプラクティスを学ぶ、無料で自分のペースで進められる9週間のオンラインコース。
ChatGPTや最先端のLLMについて、利用方法、プロンプト、アプリ開発、エージェント、生産性向上ツールを網羅した中国語の厳選ガイド。