Apache Airflow 是一个用代码编写、调度和监控工作流的平台,工作流以 Python 定义为 Dag。
apache/nifi
Apache NiFi 是一个通过浏览器界面设计、控制和监控数据流的系统,用于在不同来源与目标之间自动处理和分发数据。
- Star
- 6,269
- Fork
- 2,989
- 未关闭 Issue
- 57
- 最近提交
- 12小时前
这是什么?
Apache NiFi 是一个用于处理和分发数据的数据流系统。用户在浏览器界面中通过连接各类处理器(Processor)搭建数据管道,完成数据的搬运、转换和路由等任务。项目面向网络安全、可观测性、事件流以及生成式 AI 数据管道等场景。
系统会为每条数据记录溯源信息,用户可以检索处理历史,并追踪从源头到目的地的数据血缘。数据流支持可配置的优先级调度、通过重试与退避策略实现的可靠投递,并可借助集群进行水平扩展。
NiFi 提供处理器和控制器服务的插件接口,支持用原生 Python 编写处理器,并提供用于编排和监控的 REST API。安全方面默认启用 HTTPS,支持 OpenID Connect 或 SAML 2 单点登录、基于角色的授权策略以及 TLS 加密通信。
核心功能
- 01基于浏览器的界面,用于设计、控制和监控数据流
- 02溯源记录支持检索历史并生成数据血缘图
- 03通过重试与退避策略保证数据可靠投递
- 04支持集群方式水平扩展
- 05提供处理器和控制器服务的插件接口,可使用原生 Python 编写处理器
- 06支持 OpenID Connect 或 SAML 2 单点登录及基于角色的授权
适用场景
- 在数据库、API 和消息队列之间搬运与转换数据
- 搭建事件流和可观测性数据管道
- 为生成式 AI 或数据分析流程提供数据输入
- 追溯数据来源及处理过程以满足审计需求
快速上手
- 1
使用 Maven Wrapper 构建二进制发行版
./mvnw install -T1C -am -pl :nifi-assembly - 2
进入构建生成的发行版目录
cd nifi-assembly/target/nifi-*-bin/nifi-*/ - 3
使用自带脚本启动 NiFi
./bin/nifi.sh start - 4
打开 https://localhost:8443/nifi,并使用 logs/nifi-app.log 中生成的凭据登录
使用前须知
- 需要 Java 21,并且要用 Maven 从源码构建,README 中没有包管理器安装方式。
- 默认的 HTTPS 使用自签名证书,浏览器会显示警告,生产环境需要配置受信任的证书。
标签
常见问题
- nifi 是什么?
- Apache NiFi 是一个通过浏览器界面设计、控制和监控数据流的系统,用于在不同来源与目标之间自动处理和分发数据。 Apache NiFi 是一个用于处理和分发数据的数据流系统。用户在浏览器界面中通过连接各类处理器(Processor)搭建数据管道,完成数据的搬运、转换和路由等任务。项目面向网络安全、可观测性、事件流以及生成式 AI 数据管道等场景。
- nifi 可以免费使用吗?用的什么许可证?
- nifi 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
- nifi 还在维护吗?
- 活跃维护中。nifi 最近一次提交是在 2026年10月20日。
- nifi 适合用来做什么?
- 在数据库、API 和消息队列之间搬运与转换数据 搭建事件流和可观测性数据管道 为生成式 AI 或数据分析流程提供数据输入 追溯数据来源及处理过程以满足审计需求
- nifi 怎么安装和运行?
- 使用 Maven Wrapper 构建二进制发行版: ./mvnw install -T1C -am -pl :nifi-assembly 进入构建生成的发行版目录: cd nifi-assembly/target/nifi-*-bin/nifi-*/ 使用自带脚本启动 NiFi: ./bin/nifi.sh start 打开 https://localhost:8443/nifi,并使用 logs/nifi-app.log 中生成的凭据登录
- 在哪里获取 nifi?
- 源代码和安装说明在 GitHub 上:https://github.com/apache/nifi
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
开源数据搬运平台,用于 ELT 管道,把 API、数据库和文件中的数据同步到数据仓库、数据湖和 AI 应用。
将云基础设施与 SaaS 元数据同步到数据仓库、支持 SQL 查询的数据管道与 CLI 工具。
用 Java 实现的设计模式代码合集,每个模式都附有注释详细的示例。
开源的 PDF 编辑平台,可在浏览器、桌面端或通过 API 编辑、签名、涂黑、转换和自动化处理 PDF。
Prometheus 是一套开源的系统与服务监控系统,负责采集指标、评估规则并触发告警。