bentoml/OpenLLM

这是什么？

核心功能

• 01将开源大模型暴露为兼容 OpenAI 的 API 接口。
• 02通过 `openllm serve` 一条命令启动模型服务。
• 03内置位于 /chat 的聊天界面。
• 04通过 `openllm run` 在终端中直接对话。
• 05支持模型仓库，可添加自定义的公开仓库。
• 06将模型打包为 Bento，便于 Docker 和 Kubernetes 部署。

适用场景

• 在本地部署 Llama 或 Qwen 模型，为已有应用提供 OpenAI 风格的 API。
• 在不改动客户端代码的情况下，用 OpenAI SDK 测试开源模型。
• 借助 BentoML 打包，将自定义或微调模型部署到 Docker 或 Kubernetes。

快速上手

1. 1

   使用 pip 安装 OpenLLM

   pip install openllm
2. 2

   交互式体验 OpenLLM

   openllm hello
3. 3

   为受限模型设置 Hugging Face 令牌

   export HF_TOKEN=<your token>
4. 4

   使用模型启动 LLM 服务器

   openllm serve llama3.2:1b

使用前须知

• !Llama 等受限模型需要 Hugging Face 令牌并获得访问授权。
• !较大的模型需要大量 GPU 显存，部分模型需要 80G 显卡。

收录于专题

标签

常见问题

OpenLLM 是什么？

用一条命令将 Llama、Qwen 等开源大模型部署为兼容 OpenAI 接口的 API 服务。 OpenLLM 是一个用于自托管开源大语言模型的 Python 工具。通过 `openllm serve llama3.2:1b` 这类命令即可启动模型，服务会在本地 3000 端口提供兼容 OpenAI 的 API。已有的 OpenAI 客户端代码以及 LlamaIndex 等工具，只需修改 base URL 即可接入。

OpenLLM 可以免费使用吗？用的什么许可证？

OpenLLM 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

OpenLLM 还在维护吗？

活跃维护中。OpenLLM 最近一次提交是在 2026年11月2日。

OpenLLM 适合用来做什么？

在本地部署 Llama 或 Qwen 模型，为已有应用提供 OpenAI 风格的 API。 在不改动客户端代码的情况下，用 OpenAI SDK 测试开源模型。 借助 BentoML 打包，将自定义或微调模型部署到 Docker 或 Kubernetes。

OpenLLM 怎么安装和运行？

使用 pip 安装 OpenLLM: pip install openllm 交互式体验 OpenLLM: openllm hello 为受限模型设置 Hugging Face 令牌: export HF_TOKEN=<your token> 使用模型启动 LLM 服务器: openllm serve llama3.2:1b

在哪里获取 OpenLLM？

源代码和安装说明在 GitHub 上：https://github.com/bentoml/OpenLLM