Apache Airflow — платформа для программного описания, планирования и мониторинга рабочих процессов в виде Python-кода (Dags).
apache/nifi
Apache NiFi автоматизирует маршрутизацию и мониторинг потоков данных между источниками и получателями через браузерный интерфейс.
Open source альтернатива:Informatica PowerCenter
Talend
- Звёзды
- 6,269
- Форки
- 2,989
- Открытые issues
- 57
- Последний коммит
- 13 часов назад
Что это?
Apache NiFi — система для обработки и передачи данных. Пользователи собирают пайплайны в браузерном интерфейсе, соединяя процессоры, которые перемещают, преобразуют и маршрутизируют данные между системами. Проект предназначен для задач кибербезопасности, наблюдаемости, работы с потоками событий и построения пайплайнов данных для генеративного ИИ.
NiFi отслеживает происхождение каждого фрагмента данных: операторы могут искать сведения об истории обработки и прослеживать путь данных от источника до получателя. Потоки можно запускать с настраиваемой приоритизацией и гарантированной доставкой благодаря повторам и задержкам между ними, а также горизонтально масштабировать с помощью кластеризации.
Систему можно расширять с помощью плагинов для Processors и Controller Services; она поддерживает Processors, написанные на Python, и предоставляет REST API для оркестрации и мониторинга. Среди средств защиты — HTTPS по умолчанию, единый вход через OpenID Connect или SAML 2, авторизация на основе ролей и шифрование TLS.
Ключевые возможности
- 01Браузерный интерфейс для проектирования потоков данных, управления ими и мониторинга
- 02Отслеживание происхождения данных с поиском по истории и графами их перемещения
- 03Гарантированная доставка с повторами и задержками между ними
- 04Горизонтальное масштабирование с помощью кластеризации
- 05Плагинный интерфейс для Processors и Controller Services, в том числе процессоры на Python
- 06Единый вход через OpenID Connect или SAML 2 и авторизация на основе ролей
Сценарии использования
- Перемещение и преобразование данных между базами данных, API и очередями сообщений
- Построение пайплайнов для потоков событий и данных наблюдаемости
- Передача данных в генеративный ИИ или аналитические процессы
- Аудит источников данных и истории их обработки
Быстрый старт
- 1
Соберите бинарный дистрибутив с помощью Maven Wrapper
./mvnw install -T1C -am -pl :nifi-assembly - 2
Перейдите в каталог собранного дистрибутива
cd nifi-assembly/target/nifi-*-bin/nifi-*/ - 3
Запустите NiFi с помощью включённого в дистрибутив скрипта
./bin/nifi.sh start - 4
Откройте https://localhost:8443/nifi и войдите с созданными учётными данными из logs/nifi-app.log
Что важно знать
- Требуется Java 21 и сборка из исходного кода с помощью Maven; в README нет инструкций по установке через менеджер пакетов.
- В настройках HTTPS по умолчанию используется самоподписанный сертификат, поэтому браузеры будут показывать предупреждение. Для использования в production нужен доверенный сертификат.
Темы
Частые вопросы
- Что такое nifi?
- Apache NiFi автоматизирует маршрутизацию и мониторинг потоков данных между источниками и получателями через браузерный интерфейс. Apache NiFi — система для обработки и передачи данных. Пользователи собирают пайплайны в браузерном интерфейсе, соединяя процессоры, которые перемещают, преобразуют и маршрутизируют данные между системами. Проект предназначен для задач кибербезопасности, наблюдаемости, работы с потоками событий и построения пайплайнов данных для генеративного ИИ.
- nifi можно использовать бесплатно? Какая у него лицензия?
- nifi распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- nifi всё ещё поддерживается?
- Активно поддерживается. Последний коммит в nifi — 20 окт. 2026 г..
- Для чего можно использовать nifi?
- Перемещение и преобразование данных между базами данных, API и очередями сообщений Построение пайплайнов для потоков событий и данных наблюдаемости Передача данных в генеративный ИИ или аналитические процессы Аудит источников данных и истории их обработки
- Как установить nifi?
- Соберите бинарный дистрибутив с помощью Maven Wrapper: ./mvnw install -T1C -am -pl :nifi-assembly Перейдите в каталог собранного дистрибутива: cd nifi-assembly/target/nifi-*-bin/nifi-*/ Запустите NiFi с помощью включённого в дистрибутив скрипта: ./bin/nifi.sh start Откройте https://localhost:8443/nifi и войдите с созданными учётными данными из logs/nifi-app.log
- Где скачать nifi?
- Исходный код и инструкции по установке — на GitHub: https://github.com/apache/nifi
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Open-source платформа для перемещения данных в ELT-пайплайнах: из API, баз данных и файлов в хранилища, озёра данных и AI-приложения.
CLI и конвейер данных для синхронизации метаданных облачной и SaaS-инфраструктуры с хранилищем данных — для SQL-запросов, инвентаризации ресурсов и анализа безопасности.
Коллекция Java-кода с реализациями классических и современных паттернов проектирования и подробными примерами для каждого из них.
Самостоятельно размещаемая open-source платформа для работы с PDF: редактирование, подпись, скрытие данных, конвертация и автоматизация в браузере, на компьютере или через API.
Prometheus — система мониторинга систем и сервисов с открытым исходным кодом, которая собирает метрики, вычисляет правила и отправляет оповещения.