irthomasthomas/llm-consortium

これは何？

主な機能

• 011つのプロンプトを複数のモデルに並列送信し、回答を収集します。
• 02裁定モデルを使って候補となる回答を統合、ランキング、または評価します。
• 03信頼度のしきい値か最大反復回数に達するまで処理を繰り返します。
• 04`model:count`構文でモデルごとのインスタンス数を指定できます。
• 05すべてのやり取りをSQLiteに記録し、埋め込みの可視化データをHTMLとしてエクスポートできます。
• 06`create_consortium`を通じてPython APIを提供します。

ユースケース

• 複数のモデルで相互検証し、難しい質問への回答の信頼性を高める。
• 1つのワークフローで、異なるLLMプロバイダーの出力を比較してランキングする。
• コマンドラインやPythonコードから、複数モデルによる推論戦略を試す。

クイックスタート

1. 1

   uv を使って llm CLI をインストールする

   uv tool install llm
2. 2

   llm-consortium プラグインをインストールする

   llm install "llm-consortium"
3. 3

   consortium コマンドが利用できることを確認する

   llm consortium --help

使う前に知っておきたいこと

• !セマンティック機能と埋め込み機能には、追加のパッケージ（scikit-learn、hdbscan、openai、sentence-transformers）と、OPENAI_API_KEY や CHUTES_API_TOKEN などの API キーが必要です。
• !Geometric は回答の形式間の一致度を測定するもので、事実の正確性を測るものではありません。

収録されている特集

トピック

よくある質問

llm-consortium とは？

複数の言語モデルを並列実行し、回答を反復的に洗練させ、裁定モデルで合意に達するllm CLI用Pythonプラグインです。 LLM Consortiumは、1つのプロンプトを複数の言語モデルに同時に送る`llm`パッケージ用プラグインです。裁定モデルが各モデルの回答を評価・統合し、信頼度のしきい値に達するか、反復回数の上限に達するまでこの処理を繰り返します。候補となる回答を検証するほうが、回答を一から生成するより簡単な場合が多いという考えに基づいており、複数モデルの回答を集約することで難しい問題に役立ちます。

llm-consortium は無料で使えますか？ライセンスは？

llm-consortium は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

llm-consortium は今もメンテナンスされていますか？

半年以内に更新あり。llm-consortium の最終コミットは 2026年9月5日 です。

llm-consortium は何に使えますか？

複数のモデルで相互検証し、難しい質問への回答の信頼性を高める。 1つのワークフローで、異なるLLMプロバイダーの出力を比較してランキングする。 コマンドラインやPythonコードから、複数モデルによる推論戦略を試す。

llm-consortium のインストール方法は？

uv を使って llm CLI をインストールする: uv tool install llm llm-consortium プラグインをインストールする: llm install "llm-consortium" consortium コマンドが利用できることを確認する: llm consortium --help

llm-consortium はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/irthomasthomas/llm-consortium