API、データベース、ファイルからウェアハウス、データレイク、AIアプリへデータを移動する、ELTパイプライン向けオープンソース基盤。
DataTalksClub/data-engineering-zoomcamp
データパイプラインをゼロから構築しながらデータエンジニアリングを学べる、無料の9週間オンラインコースです。
- スター
- 46,308
- フォーク
- 8,989
- 未解決の Issue
- 6
- 最終コミット
- 6 日前
これは何?
Data Engineering Zoomcampは、無料で受講できる、自分のペースまたはコホート形式のコースです。データエンジニアリングの基礎を学び、ゼロからエンドツーエンドのデータパイプラインを構築します。コンテナ化、ワークフローオーケストレーション、データ取り込み、データウェアハウス、アナリティクスエンジニアリング、Sparkによるバッチ処理、Kafkaによるストリーミングを扱う各モジュールに取り組みます。
シラバスは7つのモジュールとワークショップで構成され、Docker、Terraform、Kestra、dlt、BigQuery、DuckDB、dbt、Bruin、Spark、Kafkaなどのツールを使用します。各モジュールには録画講義と宿題が含まれ、コースの最後には最終プロジェクトに取り組みます。
ライブコホートでは、採点付きの宿題、リーダーボード、相互レビューがあり、最終プロジェクトを完了すると修了証が発行されます。自分のペースで進めるコースでは同じ教材を使用しますが、採点や修了証はありません。
主な機能
- 01データエンジニアリングのライフサイクル全体を扱う、7つのモジュールとワークショップ
- 02Docker、Terraform、Kestra、dbt、BigQueryを使った実践的なパイプライン構築
- 03Apache Sparkによるバッチ処理とKafkaによるストリーミング
- 04相互レビュー付きの最終プロジェクト
- 05動画、教材、宿題をすべて無料で利用可能
ユースケース
- データエンジニアリングへの転向を目指す開発者やアナリスト
- モダンデータスタックのツールを幅広く扱うポートフォリオ用プロジェクトに取り組みたい学習者
- パイプライン、データウェアハウス、オーケストレーションを理解したいデータサイエンティスト
- 無料の教材を使った体系的なカリキュラムを探している独学のエンジニア
クイックスタート
- 1
GitHubでコース教材を開き、モジュール1から始めましょう
- 2
質問したり進捗を共有したりするには、Slackコミュニティに参加しましょう
使う前に知っておきたいこと
- プロジェクトのメタデータにライセンスの記載がありません。
- 修了証と採点対象の課題はライブコホートのみで利用でき、自分のペースで学ぶモードでは利用できません。
- ライブコホートは2027年1月に開始し、期限は固定されています。
トピック
よくある質問
- data-engineering-zoomcamp とは?
- データパイプラインをゼロから構築しながらデータエンジニアリングを学べる、無料の9週間オンラインコースです。 Data Engineering Zoomcampは、無料で受講できる、自分のペースまたはコホート形式のコースです。データエンジニアリングの基礎を学び、ゼロからエンドツーエンドのデータパイプラインを構築します。コンテナ化、ワークフローオーケストレーション、データ取り込み、データウェアハウス、アナリティクスエンジニアリング、Sparkによるバッチ処理、Kafkaによるストリーミングを扱う各モジュールに取り組みます。
- data-engineering-zoomcamp は無料で使えますか?ライセンスは?
- data-engineering-zoomcamp にはライセンスが明記されていません。コードは公開されていますが、ライセンスがない場合は再利用の許諾がないため、利用前に作者に確認することをおすすめします。
- data-engineering-zoomcamp は今もメンテナンスされていますか?
- 活発にメンテナンス中。data-engineering-zoomcamp の最終コミットは 2026年10月15日 です。
- data-engineering-zoomcamp は何に使えますか?
- データエンジニアリングへの転向を目指す開発者やアナリスト モダンデータスタックのツールを幅広く扱うポートフォリオ用プロジェクトに取り組みたい学習者 パイプライン、データウェアハウス、オーケストレーションを理解したいデータサイエンティスト 無料の教材を使った体系的なカリキュラムを探している独学のエンジニア
- data-engineering-zoomcamp のインストール方法は?
- GitHubでコース教材を開き、モジュール1から始めましょう 質問したり進捗を共有したりするには、Slackコミュニティに参加しましょう
- data-engineering-zoomcamp はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/DataTalksClub/data-engineering-zoomcamp
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
Terraformでワークスペースを定義できる、クラウド開発環境とAIコーディングエージェント向けのセルフホスト型プラットフォーム。
各サーバーを独立したDockerコンテナで実行する、ゲームサーバー管理用の無料オープンソースWebパネル。
SQLとMarkdownからインタラクティブなレポートやダッシュボードを作成する、オープンソースのコードベースBIツール。
dbtネイティブのデータオブザーバビリティを実現するオープンソースCLI。Elementary dbt packageの結果を読み取り、レポートを生成してSlackやTeamsにアラートを送信します。
リッチテキストやMarkdownのノート、タスクリスト、日記、共有機能を備えた無料のセルフホスト型ノートアプリ。NotionやObsidianの代替として使えます。