irthomasthomas/llm-consortium

这是什么？

核心功能

• 01将同一提示词并行发送给多个模型并收集回答。
• 02由仲裁模型对候选回答进行综合、排序或评估。
• 03迭代优化，直到达到置信度阈值或最大迭代次数。
• 04通过 模型名:数量 语法指定每个模型的实例数。
• 05将所有交互记录到 SQLite，并可导出 embedding 的 HTML 可视化。
• 06提供 create_consortium 这一 Python 接口。

适用场景

• 通过交叉验证多个模型的输出，获得更可靠的复杂问题答案。
• 在同一流程中对比并排序不同 LLM 服务商的输出。
• 在命令行或 Python 代码中试验多模型推理策略。

快速上手

1. 1

   使用 uv 安装 llm 命令行工具

   uv tool install llm
2. 2

   安装 llm-consortium 插件

   llm install "llm-consortium"
3. 3

   确认 consortium 命令可用

   llm consortium --help

使用前须知

• !语义和嵌入功能需要额外安装 scikit-learn、hdbscan、openai、sentence-transformers 等包，并配置 OPENAI_API_KEY 或 CHUTES_API_TOKEN 等 API 密钥。
• !几何置信度衡量的是回答形态之间的一致性，并不代表事实正确。

收录于专题

标签

常见问题

llm-consortium 是什么？

为 llm 命令行工具开发的 Python 插件，并行调用多个大模型，迭代优化回答并由仲裁模型达成共识。 LLM Consortium 是 `llm` 工具包的一个插件，可以把同一个提示词同时发送给多个大语言模型。随后由仲裁模型对各个回答进行评估和综合，并重复这一过程，直到达到置信度阈值或迭代上限。其思路是：验证候选答案往往比直接给出答案更容易，因此汇集多个模型有助于解决较难的问题。

llm-consortium 可以免费使用吗？用的什么许可证？

llm-consortium 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

llm-consortium 还在维护吗？

半年内有更新。llm-consortium 最近一次提交是在 2026年9月5日。

llm-consortium 适合用来做什么？

通过交叉验证多个模型的输出，获得更可靠的复杂问题答案。 在同一流程中对比并排序不同 LLM 服务商的输出。 在命令行或 Python 代码中试验多模型推理策略。

llm-consortium 怎么安装和运行？

使用 uv 安装 llm 命令行工具: uv tool install llm 安装 llm-consortium 插件: llm install "llm-consortium" 确认 consortium 命令可用: llm consortium --help

在哪里获取 llm-consortium？

源代码和安装说明在 GitHub 上：https://github.com/irthomasthomas/llm-consortium