Repolode
提交项目
feyninc

feyninc/chonkie

轻量级 Python 文本分块库，为 RAG 流程切分文本，并支持多种分块器与向量数据库集成。

在 GitHub 查看官网
Star
4,801
Fork
364
未关闭 Issue
49
最近提交
前天

这是什么？

Chonkie 是一个用于切分文本的 Python 库，在检索增强生成（RAG）流程中，它负责在向量化之前把文档切成块。库内提供多种分块器，包括按固定 token 数切分、按句子切分，以及递归、语义、代码和基于 LLM 的分块方式，调用接口统一。

除分块外，Chonkie 还提供对分块结果做后处理的 refinery（如重叠合并、添加 embedding），可将结果导出为 JSON 或 Hugging Face datasets 的 porter，以及直接写入 Chroma、Qdrant、Pinecone、pgvector、Weaviate 等向量数据库的 handshake。Pipeline API 可把这些步骤串联起来，并支持同步与异步执行。基础安装体积较小，其他功能通过可选依赖按需安装。

此外，Chonkie 可通过 `chonkie serve` 命令或 Docker 部署为自托管的 REST API，并提供面向 AI 编程助手的 skill。

核心功能

  • 01提供 token、句子、递归、语义、代码及基于 LLM 等多种分块策略。
  • 02Refinery 可为分块添加上下文重叠或 embedding。
  • 03Porter 可将分块导出为 JSON 或 Hugging Face datasets。
  • 04Handshake 可直接写入 Qdrant、Pinecone、pgvector 等向量数据库。
  • 05Pipeline API 支持串联多个步骤，并提供同步与异步执行。
  • 06可通过 CLI 或 Docker 部署为自托管 REST API。

适用场景

  • 在向量化并写入向量数据库之前，为 RAG 流程准备文档分块。
  • 通过统一接口对同一语料比较不同分块策略的效果。
  • 使用感知结构的分块器处理源代码或 Markdown 表格。
  • 通过 REST API 为多个应用提供共享的分块服务。

快速上手

  1. 1

    使用 pip 安装 Chonkie

    pip install chonkie
  2. 2

    导入分块器，创建实例，并对文本调用

使用前须知

  • 部分可选集成和分块器需要额外安装，例如 chonkie[semantic] 或 chonkie[tiktoken]。
  • 一键安装全部依赖（chonkie[all]）的方式被 README 标注为不建议用于生产环境。

收录于专题

自然语言处理工具与库

标签

#rag#chunking#text-splitter#embeddings#vector-database#llm#nlp#ai#chonkie#chunker

常见问题

chonkie 是什么？
轻量级 Python 文本分块库，为 RAG 流程切分文本，并支持多种分块器与向量数据库集成。 Chonkie 是一个用于切分文本的 Python 库，在检索增强生成（RAG）流程中，它负责在向量化之前把文档切成块。库内提供多种分块器，包括按固定 token 数切分、按句子切分，以及递归、语义、代码和基于 LLM 的分块方式，调用接口统一。
chonkie 可以免费使用吗？用的什么许可证？
chonkie 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。
chonkie 还在维护吗？
活跃维护中。chonkie 最近一次提交是在 2026年10月20日。
chonkie 适合用来做什么？
在向量化并写入向量数据库之前，为 RAG 流程准备文档分块。 通过统一接口对同一语料比较不同分块策略的效果。 使用感知结构的分块器处理源代码或 Markdown 表格。 通过 REST API 为多个应用提供共享的分块服务。
chonkie 怎么安装和运行？
使用 pip 安装 Chonkie: pip install chonkie 导入分块器，创建实例，并对文本调用
在哪里获取 chonkie？
源代码和安装说明在 GitHub 上：https://github.com/feyninc/chonkie

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目