ucbepic/docetl

これは何？

主な機能

• 01LLMを使ったデータ処理向けのmap、reduce、filter、resolve、split、gatherオペレーター。
• 02出力スキーマを指定した、自然言語による操作定義。
• 03モデルの切り替えやプロンプトの書き換えを行うパイプラインの自動最適化。
• 04Python API、CLIで使うYAML設定、DocWrangler Web UI。
• 05レート制限を制御しながら、データセット全体を並列処理。

ユースケース

• 大量のサポートチケットから、苦情や優先度などの構造化フィールドを抽出する。
• mapしてからreduceするワークフローで、カテゴリごとにまとめたドキュメントを要約する。
• 議事録や非構造化テキストを分析し、クエリ可能な表形式で結果を返す。

クイックスタート

1. 1

   pipでパッケージをインストールします

   pip install docetl
2. 2

   LLMプロバイダー（例: OpenAI）のAPIキーを設定します

   export OPENAI_API_KEY=your_key
3. 3

   パイプラインのYAMLファイルを作成し、CLIで実行します

   docetl run pipeline.yaml

使う前に知っておきたいこと

• !LLMプロバイダーのAPIキーが必要です。利用料金が発生します。

トピック

よくある質問

docetl とは？

自然言語で記述した大規模な構造化・非構造化データ向けの、LLMを活用するPython製map-reduce／ETLパイプラインシステム。 DocETLは、LLMを使って大量の構造化データや非構造化データを処理するシステムです。各操作を自然言語で記述すると、map、reduce、filter、resolve、split、gatherなどのオペレーターを使って処理を組み立て、データセット全体にわたる処理をオーケストレーションし、並列化します。出力はデータベースでクエリできる表形式のデータです。

docetl は無料で使えますか？ライセンスは？

docetl は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

docetl は今もメンテナンスされていますか？

活発にメンテナンス中。docetl の最終コミットは 2026年10月9日 です。

docetl は何に使えますか？

大量のサポートチケットから、苦情や優先度などの構造化フィールドを抽出する。 mapしてからreduceするワークフローで、カテゴリごとにまとめたドキュメントを要約する。 議事録や非構造化テキストを分析し、クエリ可能な表形式で結果を返す。

docetl のインストール方法は？

pipでパッケージをインストールします: pip install docetl LLMプロバイダー（例: OpenAI）のAPIキーを設定します: export OPENAI_API_KEY=your_key パイプラインのYAMLファイルを作成し、CLIで実行します: docetl run pipeline.yaml

docetl はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/ucbepic/docetl