Платформа с открытым исходным кодом для CDC: передаёт изменения строк базы данных в виде событий на базе Kafka и Kafka Connect.
apache/kafka
Apache Kafka — открытая распределённая платформа потоковой обработки событий для высокопроизводительных конвейеров данных и потоковых приложений.
Open source альтернатива:Amazon Kinesis
Google Cloud Pub/Sub
- Звёзды
- 34,186
- Форки
- 15,663
- Открытые issues
- 667
- Последний коммит
- 20 часов назад
Что это?
Apache Kafka — распределённая платформа потоковой обработки событий для высокопроизводительных конвейеров данных, потоковой аналитики, интеграции данных и критически важных приложений. Она написана на Java и Scala и работает как кластер брокеров, которые хранят потоки событий и предоставляют к ним доступ.
Репозиторий содержит полный исходный код брокеров и клиентских библиотек. Разработчики могут собрать JAR с помощью Gradle, запустить отдельный брокер из скомпилированных скриптов или Docker-образа, а также выполнять модульные, интеграционные и системные тесты. В репозиторий также входят модули Streams и clients, Trogdor для запуска нагрузок и тестирования производительности, а также микробенчмарки JMH.
Сборка рассчитана на Java 17 и 25; поддерживается только Scala 2.13. Перед отправкой изменений участники проекта могут локально запускать проверки Checkstyle, Spotless и SpotBugs.
Ключевые возможности
- 01Распределённая потоковая обработка событий с помощью брокеров, хранящих журналы событий и предоставляющих к ним доступ
- 02Клиентские библиотеки и модули Kafka Streams для отправки и получения событий
- 03Сборка на базе Gradle с задачами для модульных, интеграционных и системных тестов
- 04Docker-образ и скомпилированные скрипты для локального запуска брокера
- 05Инструменты проверки качества кода, включая Checkstyle, Spotless и SpotBugs
Сценарии использования
- Создание конвейеров данных реального времени для передачи событий между сервисами
- Потоковая аналитика непрерывно поступающих данных
- Участие в разработке или отладка кода брокера и клиентов Kafka
- Тестирование производительности потоковых нагрузок с помощью фреймворка Trogdor
Быстрый старт
- 1
Установите Java (для сборки используется JDK 17 или 25)
- 2
Соберите JAR с помощью Gradle
./gradlew jar - 3
Запустите брокер Kafka с помощью образа Docker
docker run -p 9092:9092 apache/kafka:latest
Что важно знать
- Для сборки из исходного кода необходимо установить Java и выполнить сборку с помощью Gradle.
В подборках
Темы
Частые вопросы
- Что такое kafka?
- Apache Kafka — открытая распределённая платформа потоковой обработки событий для высокопроизводительных конвейеров данных и потоковых приложений. Apache Kafka — распределённая платформа потоковой обработки событий для высокопроизводительных конвейеров данных, потоковой аналитики, интеграции данных и критически важных приложений. Она написана на Java и Scala и работает как кластер брокеров, которые хранят потоки событий и предоставляют к ним доступ.
- kafka можно использовать бесплатно? Какая у него лицензия?
- kafka распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- kafka всё ещё поддерживается?
- Активно поддерживается. Последний коммит в kafka — 6 нояб. 2026 г..
- Для чего можно использовать kafka?
- Создание конвейеров данных реального времени для передачи событий между сервисами Потоковая аналитика непрерывно поступающих данных Участие в разработке или отладка кода брокера и клиентов Kafka Тестирование производительности потоковых нагрузок с помощью фреймворка Trogdor
- Как установить kafka?
- Установите Java (для сборки используется JDK 17 или 25) Соберите JAR с помощью Gradle: ./gradlew jar Запустите брокер Kafka с помощью образа Docker: docker run -p 9092:9092 apache/kafka:latest
- Где скачать kafka?
- Исходный код и инструкции по установке — на GitHub: https://github.com/apache/kafka
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Apache NiFi автоматизирует маршрутизацию и мониторинг потоков данных между источниками и получателями через браузерный интерфейс.
Платформа потоковой обработки данных на C++, совместимая с Kafka API и работающая без ZooKeeper и JVM.
Стриминговая система без состояния, совместимая с Kafka и хранящая данные в S3 или S3-совместимом объектном хранилище вместо локальных дисков.
Облачная платформа для управления Kafka, эксплуатации, мониторинга, оповещений и контроля ресурсов в нескольких кластерах.
Открытая Customer Data Platform на Go: собирает события из приложений и с сайтов и отправляет их в хранилища данных и бизнес-инструменты.