algorithmicsuperintelligence/optillm

这是什么？

核心功能

• 01提供兼容 OpenAI 的 chat completions 接口，替换 base_url 即可使用。
• 02通过模型名前缀或请求字段选择 MoA、MCTS、best-of-N、CePO 等推理优化方法。
• 03支持用 & 串联或 | 并行组合多种方法。
• 04借助 LiteLLM 接入 OpenAI、Azure、Cerebras 及百余种模型服务。
• 05提供 MCP 工具、PII 隐私脱敏、URL 读取、代码执行等插件。
• 06内置本地推理服务器，可加载 HuggingFace 模型与 LoRA 适配器。

适用场景

• 在不微调的情况下，提升低成本模型在数学或编程任务上的准确率。
• 只需修改 base URL，即可为现有应用增加推理时计算。
• 让大模型应用通过 MCP 访问工具和文件。
• 在本地 llama.cpp 或 Ollama 模型上使用多次采样的推理方法。

快速上手

1. 1

   从 PyPI 安装 OptiLLM

   pip install optillm
2. 2

   设置 OpenAI API 密钥并启动服务器

   export OPENAI_API_KEY="your-key-here" && optillm
3. 3

   将任意 OpenAI 客户端指向 http://localhost:8000/v1，并在模型名前加上 moa- 前缀以使用 Mixture of Agents

使用前须知

• !改进依赖额外的推理计算，因此请求可能更慢且成本更高。
• !部分技术需要本地模型或特定提供商，且 README 中的基准提升数据仅针对特定模型和任务。

收录于专题

标签

常见问题

optillm 是什么？

兼容 OpenAI API 的推理优化代理，无需训练即可通过 MoA、MCTS 等推理时技术提升大模型表现。 OptiLLM 是一个推理代理，部署在应用与任意 OpenAI 兼容的大模型接口之间。客户端照常发送 chat completion 请求，OptiLLM 在推理阶段额外投入计算，例如采样多个候选答案、搜索规划路径或校验结果，再返回最终回复，整个过程无需训练或微调模型。

optillm 可以免费使用吗？用的什么许可证？

optillm 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

optillm 还在维护吗？

活跃维护中。optillm 最近一次提交是在 2026年11月2日。

optillm 适合用来做什么？

在不微调的情况下，提升低成本模型在数学或编程任务上的准确率。 只需修改 base URL，即可为现有应用增加推理时计算。 让大模型应用通过 MCP 访问工具和文件。 在本地 llama.cpp 或 Ollama 模型上使用多次采样的推理方法。

optillm 怎么安装和运行？

从 PyPI 安装 OptiLLM: pip install optillm 设置 OpenAI API 密钥并启动服务器: export OPENAI_API_KEY="your-key-here" && optillm 将任意 OpenAI 客户端指向 http://localhost:8000/v1，并在模型名前加上 moa- 前缀以使用 Mixture of Agents

在哪里获取 optillm？

源代码和安装说明在 GitHub 上：https://github.com/algorithmicsuperintelligence/optillm