Repolode
投稿する
feyninc

feyninc/chonkie

RAGパイプライン向けにテキストを分割する軽量なPythonライブラリ。複数のchunkerやrefiner、ベクトルデータベースとの連携機能を備えています。

GitHub で見る公式サイト
スター
4,801
フォーク
364
未解決の Issue
49
最終コミット
一昨日

これは何？

Chonkieは、テキストをチャンクに分割するPythonライブラリです。これは、検索拡張生成（RAG）パイプラインでドキュメントを埋め込み処理する前に必要となる前処理です。固定トークン数や文単位の分割から、再帰的、セマンティック、コード向け、LLM駆動の方式まで、さまざまなchunkerをシンプルなインターフェースから利用できます。

チャンク分割に加え、チャンクにオーバーラップや埋め込みを追加するrefinery、チャンクをJSONやHugging Face datasetsに出力するporter、Chroma、Qdrant、Pinecone、pgvector、Weaviateなどのベクトルストアにチャンクを直接書き込むhandshakeを備えています。Pipeline APIでこれらの処理を連結でき、同期・非同期の両方で実行できます。基本インストールは軽量に保たれており、機能ごとにオプションの追加機能を導入できます。

`chonkie serve`コマンドまたはDockerを使って、セルフホスト型REST APIとしても実行できます。また、AIコーディングアシスタント向けのagent skillも付属しています。

主な機能

  • 01トークン単位、文単位、再帰的、セマンティック、コード向け、LLMベースなど、複数のチャンク分割方式に対応。
  • 02refineryでチャンクにコンテキストのオーバーラップや埋め込みを追加。
  • 03porterでチャンクをJSONやHugging Face datasetsに出力。
  • 04handshakeでチャンクをQdrant、Pinecone、pgvectorなどのベクトルデータベースに書き込み。
  • 05Pipeline APIで処理を連結し、同期・非同期で実行可能。
  • 06CLIまたはDockerでセルフホスト型REST APIを利用可能。

ユースケース

  • ベクトルデータベースへの埋め込みと保存に先立ち、RAGパイプライン向けにドキュメントを準備する。
  • 同じコーパスに複数のチャンク分割方式を適用し、単一のインターフェースから比較する。
  • 構造を考慮したchunkerでソースコードやMarkdownの表を分割する。
  • REST APIを介して複数のアプリケーション向けに共有チャンク分割サービスを運用する。

クイックスタート

  1. 1

    pipでChonkieをインストールする

    pip install chonkie
  2. 2

    chunkerをインポートして作成し、テキストに対して呼び出す

使う前に知っておきたいこと

  • オプションのインテグレーションやchunkerを使うには、chonkie[semantic]やchonkie[tiktoken]などを追加でインストールする必要があります。
  • all-in-oneインストールは、本番環境では推奨されないと明記されています。

収録されている特集

自然言語処理ツールとライブラリ

トピック

#rag#chunking#text-splitter#embeddings#vector-database#llm#nlp#ai#chonkie#chunker

よくある質問

chonkie とは？
RAGパイプライン向けにテキストを分割する軽量なPythonライブラリ。複数のchunkerやrefiner、ベクトルデータベースとの連携機能を備えています。 Chonkieは、テキストをチャンクに分割するPythonライブラリです。これは、検索拡張生成（RAG）パイプラインでドキュメントを埋め込み処理する前に必要となる前処理です。固定トークン数や文単位の分割から、再帰的、セマンティック、コード向け、LLM駆動の方式まで、さまざまなchunkerをシンプルなインターフェースから利用できます。
chonkie は無料で使えますか？ライセンスは？
chonkie は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
chonkie は今もメンテナンスされていますか？
活発にメンテナンス中。chonkie の最終コミットは 2026年10月20日 です。
chonkie は何に使えますか？
ベクトルデータベースへの埋め込みと保存に先立ち、RAGパイプライン向けにドキュメントを準備する。 同じコーパスに複数のチャンク分割方式を適用し、単一のインターフェースから比較する。 構造を考慮したchunkerでソースコードやMarkdownの表を分割する。 REST APIを介して複数のアプリケーション向けに共有チャンク分割サービスを運用する。
chonkie のインストール方法は？
pipでChonkieをインストールする: pip install chonkie chunkerをインポートして作成し、テキストに対して呼び出す
chonkie はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/feyninc/chonkie

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト