KafkaとKafka Connectを基盤とする、データベースの行単位の変更をイベントとしてストリーミングするオープンソースのCDCプラットフォーム。
apache/kafka
Apache Kafkaは、高スループットのデータパイプラインやストリーミングアプリケーションを構築するための、オープンソースの分散イベントストリーミングプラットフォームです。
- スター
- 34,193
- フォーク
- 15,666
- 未解決の Issue
- 667
- 最終コミット
- 16 時間前
これは何?
Apache Kafkaは、高性能なデータパイプライン、ストリーミング分析、データ統合、ミッションクリティカルなアプリケーションに使われる分散イベントストリーミングプラットフォームです。JavaとScalaで実装されており、イベントストリームを保存・配信するブローカーのクラスターとして動作します。
このリポジトリには、ブローカーとクライアントのコードベース全体が含まれています。開発者はGradleでJARをビルドし、コンパイル済みスクリプトまたはDockerイメージから単一ブローカーを実行できるほか、ユニットテスト、統合テスト、システムテストを実行できます。また、Streamsとclientsの各モジュール、ベンチマークやワークロード向けのTrogdor、JMHマイクロベンチマークも含まれています。
ビルドはJava 17と25を対象とし、サポート対象のScalaバージョンは2.13のみです。コントリビューターは変更を提出する前に、Checkstyle、Spotless、SpotBugsによるチェックをローカルで実行できます。
主な機能
- 01イベントログを保存・配信するブローカーによる分散イベントストリーミング
- 02イベントの生成と消費に使えるクライアントライブラリとKafka Streamsモジュール
- 03ユニットテスト、統合テスト、システムテストを実行できるGradleベースのビルド
- 04ブローカーをローカルで実行するためのDockerイメージとコンパイル済みスクリプト
- 05Checkstyle、Spotless、SpotBugsなどのコード品質チェックツール
ユースケース
- サービス間でイベントを移動させるリアルタイムデータパイプラインの構築
- 継続的に到着するデータを使ったストリーミング分析の実行
- Kafkaブローカーやクライアントのコードへのコントリビュートやデバッグ
- 付属のTrogdorフレームワークを使ったストリーミングワークロードのベンチマーク
クイックスタート
- 1
Javaをインストールします(ビルドにはJDK 17または25を使用します)
- 2
GradleでJARをビルドします
./gradlew jar - 3
Dockerイメージを使ってKafkaブローカーを起動します
docker run -p 9092:9092 apache/kafka:latest
使う前に知っておきたいこと
- ソースからビルドするには、JavaのインストールとGradleでのビルドが必要です。
収録されている特集
トピック
よくある質問
- kafka とは?
- Apache Kafkaは、高スループットのデータパイプラインやストリーミングアプリケーションを構築するための、オープンソースの分散イベントストリーミングプラットフォームです。 Apache Kafkaは、高性能なデータパイプライン、ストリーミング分析、データ統合、ミッションクリティカルなアプリケーションに使われる分散イベントストリーミングプラットフォームです。JavaとScalaで実装されており、イベントストリームを保存・配信するブローカーのクラスターとして動作します。
- kafka は無料で使えますか?ライセンスは?
- kafka は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- kafka は今もメンテナンスされていますか?
- 活発にメンテナンス中。kafka の最終コミットは 2026年11月7日 です。
- kafka は何に使えますか?
- サービス間でイベントを移動させるリアルタイムデータパイプラインの構築 継続的に到着するデータを使ったストリーミング分析の実行 Kafkaブローカーやクライアントのコードへのコントリビュートやデバッグ 付属のTrogdorフレームワークを使ったストリーミングワークロードのベンチマーク
- kafka のインストール方法は?
- Javaをインストールします(ビルドにはJDK 17または25を使用します) GradleでJARをビルドします: ./gradlew jar Dockerイメージを使ってKafkaブローカーを起動します: docker run -p 9092:9092 apache/kafka:latest
- kafka はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/apache/kafka
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
Apache NiFiは、ブラウザーUIで管理しながら、データソースと送信先の間のデータフローを自動化、ルーティング、監視するシステムです。
ZooKeeperやJVMなしで動作する、C++製のKafka API互換ストリーミングデータプラットフォーム。
ローカルディスクの代わりにS3互換のオブジェクトストレージへデータを保存する、ステートレスなKafka互換ストリーミングシステムです。
複数クラスターの運用、監視、アラート、リソースガバナンスに対応するクラウドネイティブなKafka管理プラットフォーム。
アプリやWebサイトのイベントを収集し、データウェアハウスや業務ツールに送る、Go製のオープンソースCustomer Data Platformです。