Repolode
apache

apache/pinot

面向低延迟实时分析的分布式 OLAP 数据存储,可接入 Kafka 流数据和 S3 等批量数据。

可替代:Google BigQueryAmazon Redshift

Star
6,161
Fork
1,526
未关闭 Issue
1,315
最近提交
昨天

这是什么?

Apache Pinot 是一个实时分布式 OLAP 数据存储,用于在海量数据和事件上以低延迟执行分析查询。它既可以实时接入 Apache Kafka、Apache Pulsar、AWS Kinesis 等流数据,也能批量导入 HDFS、Amazon S3、Azure ADLS、Google Cloud Storage 中的数据,并可将批流数据合并到同一张表中查询。

数据采用列式存储并支持多种压缩方式,提供倒排、范围、布隆过滤器、文本、JSON、地理空间以及 StarTree 等可插拔索引。查询使用标准 SQL,可通过内置查询控制台或 REST API 调用。系统还支持实时摄入时的 upsert 更新,并通过逻辑隔离的命名空间实现多租户。

项目使用 Java 编写,可部署为可水平扩展的集群,也提供基于 Helm Chart 的 Kubernetes 部署方式。该项目最初由 LinkedIn 开发,用于支撑面向用户的分析功能。

核心功能

  • 01支持从 Kafka、Pulsar、Kinesis 实时接入数据,并从 S3、HDFS、Spark 批量导入。
  • 02提供 SQL 查询接口,附带内置查询控制台和 REST API。
  • 03采用列式存储并支持压缩,同时提供多种可插拔索引。
  • 04实时摄入过程中支持 upsert 更新。
  • 05通过逻辑隔离的命名空间实现多租户管理。
  • 06提供 Helm Chart,便于在 Kubernetes 上部署。

适用场景

  • 构建需要秒级响应的面向用户的交互式分析看板。
  • 对带有大量维度和指标的事件流做时间序列聚合分析。
  • 在同一张可查询的表中合并历史批量数据与实时流数据。
  • 为应用提供高并发的分析查询服务。

快速上手

  1. 1

    克隆代码仓库

    git clone https://github.com/apache/pinot.git
  2. 2

    进入项目目录

    cd pinot
  3. 3

    构建 Pinot(需要 JDK 25+)

    ./mvnw clean install -DskipTests -Pbin-dist -Pbuild-shaded-jar
  4. 4

    运行快速演示

    cd build/ && bin/quick-start-batch.sh

使用前须知

  • 从源码构建需要 JDK 25+,且耗时较长。
  • 在 macOS Apple Silicon 上构建可能需要通过 Homebrew 额外安装 protobuf/gRPC 工具。

标签

常见问题

pinot 是什么?
面向低延迟实时分析的分布式 OLAP 数据存储,可接入 Kafka 流数据和 S3 等批量数据。 Apache Pinot 是一个实时分布式 OLAP 数据存储,用于在海量数据和事件上以低延迟执行分析查询。它既可以实时接入 Apache Kafka、Apache Pulsar、AWS Kinesis 等流数据,也能批量导入 HDFS、Amazon S3、Azure ADLS、Google Cloud Storage 中的数据,并可将批流数据合并到同一张表中查询。
pinot 可以免费使用吗?用的什么许可证?
pinot 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
pinot 还在维护吗?
活跃维护中。pinot 最近一次提交是在 2026年10月19日。
pinot 适合用来做什么?
构建需要秒级响应的面向用户的交互式分析看板。 对带有大量维度和指标的事件流做时间序列聚合分析。 在同一张可查询的表中合并历史批量数据与实时流数据。 为应用提供高并发的分析查询服务。
pinot 怎么安装和运行?
克隆代码仓库: git clone https://github.com/apache/pinot.git 进入项目目录: cd pinot 构建 Pinot(需要 JDK 25+): ./mvnw clean install -DskipTests -Pbin-dist -Pbuild-shaded-jar 运行快速演示: cd build/ && bin/quick-start-batch.sh
在哪里获取 pinot?
源代码和安装说明在 GitHub 上:https://github.com/apache/pinot

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目