Apache NiFi 是一个通过浏览器界面设计、控制和监控数据流的系统,用于在不同来源与目标之间自动处理和分发数据。
62692989JavaApache-2.0更新于 20小时前
SeaTunnel 是一个分布式数据集成工具,用于在不同数据源与目标端之间高效搬运海量数据。它提供 160 多种连接器,覆盖各类数据库、数据仓库等系统,支持实时同步、CDC(变更数据捕获)和整库同步。
任务通过配置方式定义,可以运行在自带的 Zeta 引擎上,也可以使用 Apache Flink 或 Apache Spark 执行。项目采用分布式快照机制保证同步数据的一致性,并通过 JDBC 多路复用和日志解析减少多表同步时的连接开销。
除结构化文本外,SeaTunnel 也支持视频、图片、二进制文件等非结构化数据的集成。
从官网下载 SeaTunnel
选择执行引擎:Zeta 引擎、Spark 或 Flink
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
Apache NiFi 是一个通过浏览器界面设计、控制和监控数据流的系统,用于在不同来源与目标之间自动处理和分发数据。
开源数据搬运平台,用于 ELT 管道,把 API、数据库和文件中的数据同步到数据仓库、数据湖和 AI 应用。
一款命令行工具,用一条命令即可在数据库、文件和 SaaS 平台之间复制数据,无需编写代码。
Apache Airflow 是一个用代码编写、调度和监控工作流的平台,工作流以 Python 定义为 Dag。
面向低延迟实时分析的分布式 OLAP 数据存储,可接入 Kafka 流数据和 S3 等批量数据。
面向 Java 后端开发者的面试指南,涵盖计算机基础、数据库、分布式、系统design与 AI 应用开发。