开源变更数据捕获(CDC)平台,将数据库的行级变更以事件形式输出,基于 Kafka 和 Kafka Connect 构建。
- Star
- 34,186
- Fork
- 15,663
- 未关闭 Issue
- 667
- 最近提交
- 17小时前
这是什么?
Apache Kafka 是一个分布式事件流平台,常用于高性能数据管道、流式分析、数据集成以及关键业务应用。项目使用 Java 和 Scala 编写,以集群形式运行多个 broker 来存储和分发事件流。
仓库包含完整的 broker 与客户端代码。开发者可以用 Gradle 构建 JAR,通过编译后的脚本或 Docker 镜像启动单个 broker,并运行单元测试、集成测试和系统测试。此外还包含 Streams 与 clients 模块、用于基准测试和负载模拟的 Trogdor,以及 JMH 微基准测试。
构建环境支持 Java 17 和 25,Scala 仅支持 2.13 版本。贡献者可在提交代码前本地运行 Checkstyle、Spotless 和 SpotBugs 检查。
核心功能
- 01基于分布式 broker 集群存储与分发事件日志
- 02提供生产与消费事件的客户端库及 Kafka Streams 模块
- 03基于 Gradle 的构建,包含单元、集成和系统测试任务
- 04提供 Docker 镜像和编译脚本,便于本地运行 broker
- 05集成 Checkstyle、Spotless、SpotBugs 等代码质量工具
适用场景
- 构建在服务之间实时传递事件的数据管道
- 对持续到达的数据进行流式分析
- 参与开发或调试 Kafka broker 与客户端代码
- 使用内置的 Trogdor 框架对流式负载进行基准测试
快速上手
- 1
安装 Java(构建使用 JDK 17 或 25)
- 2
使用 Gradle 构建 JAR
./gradlew jar - 3
使用 Docker 镜像运行 Kafka broker
docker run -p 9092:9092 apache/kafka:latest
使用前须知
- 从源码构建需要安装 Java 并使用 Gradle 进行构建。
收录于专题
标签
常见问题
- kafka 是什么?
- Apache Kafka 是一个开源的分布式事件流平台,用于构建高吞吐的数据管道和流式应用。 Apache Kafka 是一个分布式事件流平台,常用于高性能数据管道、流式分析、数据集成以及关键业务应用。项目使用 Java 和 Scala 编写,以集群形式运行多个 broker 来存储和分发事件流。
- kafka 可以免费使用吗?用的什么许可证?
- kafka 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
- kafka 还在维护吗?
- 活跃维护中。kafka 最近一次提交是在 2026年11月6日。
- kafka 适合用来做什么?
- 构建在服务之间实时传递事件的数据管道 对持续到达的数据进行流式分析 参与开发或调试 Kafka broker 与客户端代码 使用内置的 Trogdor 框架对流式负载进行基准测试
- kafka 怎么安装和运行?
- 安装 Java(构建使用 JDK 17 或 25) 使用 Gradle 构建 JAR: ./gradlew jar 使用 Docker 镜像运行 Kafka broker: docker run -p 9092:9092 apache/kafka:latest
- 在哪里获取 kafka?
- 源代码和安装说明在 GitHub 上:https://github.com/apache/kafka
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
1.3万+35 本周3125JavaApache-2.0维护活跃更新于 20小时前
Apache NiFi 是一个通过浏览器界面设计、控制和监控数据流的系统,用于在不同来源与目标之间自动处理和分发数据。
6298+17 本周2999JavaApache-2.0更新于 19小时前
兼容 Kafka API 的流式数据平台,用 C++ 编写,无需 ZooKeeper 和 JVM。
1.3万+22 本周801C++无许可证维护活跃更新于 30天前
基于 S3 对象存储的无状态、兼容 Kafka 的流处理系统,数据不再依赖本地磁盘。
1.1万+6 本周803JavaApache-2.0维护活跃更新于 昨天
一套云原生 Kafka 管控平台,覆盖多集群运维、监控告警与资源治理。
71761295JavaAGPL-3.0更新于 4天前
用 Go 编写的开源客户数据平台,收集应用和网站事件并分发到数据仓库与业务工具。
4515+6 本周85GoOther更新于 17小时前