PDF、Officeファイル、画像をLLMやエージェントのワークフロー向けにMarkdownまたはJSONへ変換するオープンソースの文書パーサー。
lumina-ai-inc/chunkr
PDF、Officeファイル、画像をレイアウト解析とOCRでLLM向けのチャンクに変換する、セルフホスト型の文書インテリジェンスAPI。
- スター
- 4,157
- フォーク
- 278
- 未解決の Issue
- 19
- 最終コミット
- 2 か月前
これは何?
Chunkrは、PDF、PowerPointファイル、Word文書、画像を取り込み、検索拡張生成(RAG)などのLLMパイプラインで使える構造化チャンクに分割する文書処理サービスです。レイアウト解析、バウンディングボックス付きOCR、視覚言語モデルによる処理を組み合わせ、構造化されたHTMLとMarkdownを出力します。
AGPLライセンスのオープンソース版はDocker Composeを使ってローカルで実行でき、GPU構成とCPU構成に対応しています。Web UIはポート5173、APIはポート8000で利用できます。コミュニティ製およびオープンソースのモデルを使用し、models.yamlファイルまたは環境変数でLLMへのアクセスを設定します。OpenAI、OpenRouter、Google AI Studioのほか、セルフホスト型のvLLMやOllamaサーバーなど、OpenAI互換のエンドポイントを利用できます。
このプロジェクトはAGPL-3.0と商用ライセンスのデュアルライセンスです。メンテナーは、独自モデルを実行するホスト型Cloud APIも提供しており、オープンソース版より精度が高いと説明しています。
主な機能
- 01チャンク化の前に文書構造を特定するレイアウト解析。
- 02各ページ上のテキスト位置を示すバウンディングボックス付きOCR。
- 03構造化されたHTMLとMarkdownで出力。
- 04PDF、PPT、Word文書、画像に対応。
- 05セルフホスト型のvLLMやOllamaを含む、あらゆるOpenAI互換LLMエンドポイントで動作。
- 06Docker Composeを使い、GPUモードまたはCPUモードでローカル実行。
ユースケース
- PDFやOffice文書をRAGパイプライン用のチャンクに変換する。
- スキャンしたファイルからバウンディングボックス座標付きでテキストとレイアウトを抽出する。
- データを自社インフラ内に保持する必要がある環境で、文書解析をローカル実行する。
クイックスタート
- 1
Docker と Docker Compose をインストール(GPU を使用する場合は NVIDIA Container Toolkit も必要に応じてインストール)
- 2
リポジトリをクローン
git clone https://github.com/lumina-ai-inc/chunkr && cd chunkr - 3
サンプルの env ファイルと models 設定ファイルをコピー
cp .env.example .env && cp models.example.yaml models.yaml - 4
サービスを起動(GPU デプロイ)
docker compose up -d
使う前に知っておきたいこと
- オープンソース版ではコミュニティモデルを使用するため、プロプライエタリな Cloud API より精度が低くなります。
- LLM 機能を利用するには、LLM エンドポイントまたは API キーが必要です。
- AGPL-3.0 ライセンスで提供されます。商用ライセンスを購入しない場合、コピーレフト義務が適用されます。
- オープンソース版には Excel のサポートは含まれていません。
収録されている特集
トピック
よくある質問
- chunkr とは?
- PDF、Officeファイル、画像をレイアウト解析とOCRでLLM向けのチャンクに変換する、セルフホスト型の文書インテリジェンスAPI。 Chunkrは、PDF、PowerPointファイル、Word文書、画像を取り込み、検索拡張生成(RAG)などのLLMパイプラインで使える構造化チャンクに分割する文書処理サービスです。レイアウト解析、バウンディングボックス付きOCR、視覚言語モデルによる処理を組み合わせ、構造化されたHTMLとMarkdownを出力します。
- chunkr は無料で使えますか?ライセンスは?
- chunkr は AGPL-3.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- chunkr は今もメンテナンスされていますか?
- 半年以内に更新あり。chunkr の最終コミットは 2026年9月9日 です。
- chunkr は何に使えますか?
- PDFやOffice文書をRAGパイプライン用のチャンクに変換する。 スキャンしたファイルからバウンディングボックス座標付きでテキストとレイアウトを抽出する。 データを自社インフラ内に保持する必要がある環境で、文書解析をローカル実行する。
- chunkr のインストール方法は?
- Docker と Docker Compose をインストール(GPU を使用する場合は NVIDIA Container Toolkit も必要に応じてインストール) リポジトリをクローン: git clone https://github.com/lumina-ai-inc/chunkr && cd chunkr サンプルの env ファイルと models 設定ファイルをコピー: cp .env.example .env && cp models.example.yaml models.yaml サービスを起動(GPU デプロイ): docker compose up -d
- chunkr はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/lumina-ai-inc/chunkr
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
PDFや文書画像をレイアウト座標付きのMarkdownまたはJSONに変換し、AIエージェントのパイプラインで活用できるオープンソースの文書解析モデル。
Baiduのオープンソース視覚言語OCRモデル。長い複数ページの文書やPDFを一度の処理で構造化テキストに変換します。
複雑な文書からテキスト、表、数式、レイアウトを抽出する、0.9BパラメータのマルチモーダルOCRモデルとSDK。
MiniCPM-OCRは、オープンソースの文書解析モデル群と、OCR結果の正確さを評価するモデルを提供します。
PDF、Office文書、HTMLなどを構造化データに変換し、生成AIのパイプラインで活用できるオープンソースのドキュメントパーサー。