BerriAI/litellm

这是什么？

核心功能

• 01使用 OpenAI 请求格式调用 100 多家大模型服务。
• 02自托管代理，支持虚拟密钥和按项目统计费用。
• 03在多个部署之间做负载均衡、重试和故障转移。
• 04提供 guardrails 和日志回调，便于监控。
• 05通过网关接入 A2A 智能体和 MCP 服务。

适用场景

• 为团队提供统一的内部入口，按用户分配密钥和预算来调用多家大模型。
• 在应用代码中切换 OpenAI 与 Anthropic 等模型，无需重写 API 调用。
• 使用提供的 Terraform 模块在 AWS 或 GCP 上部署 LLM 网关。

快速上手

1. 1

   使用 uv 安装 LiteLLM 代理服务器

   uv tool install 'litellm[proxy]'
2. 2

   指定模型启动代理，然后访问 http://0.0.0.0:4000

   litellm --model gpt-4o

使用前须知

• !许可证未被明确识别（元数据显示为 NOASSERTION），使用前请自行核实许可条款。
• !调用各个模型提供商需要您自行提供对应的 API 密钥。
• !文档中提到的部分功能（如企业版）与开源项目是分开提供的。

标签

常见问题

litellm 是什么？

开源 AI 网关与 Python SDK，用统一的 OpenAI 格式调用 100 多家大模型服务。 LiteLLM 用一套 OpenAI 兼容的接口调用多家大模型服务，覆盖 OpenAI、Anthropic、Gemini、Bedrock、Azure、Vertex AI、vLLM 等。开发者可以在 Python 代码中直接作为库使用，也可以将其部署为自托管的代理服务器，作为团队或组织统一的 LLM 网关。

litellm 可以免费使用吗？用的什么许可证？

litellm 以 Other 许可证开源。用于商业产品前，请先确认许可证条款。

litellm 还在维护吗？

活跃维护中。litellm 最近一次提交是在 2026年10月20日。

litellm 适合用来做什么？

为团队提供统一的内部入口，按用户分配密钥和预算来调用多家大模型。 在应用代码中切换 OpenAI 与 Anthropic 等模型，无需重写 API 调用。 使用提供的 Terraform 模块在 AWS 或 GCP 上部署 LLM 网关。

litellm 怎么安装和运行？

使用 uv 安装 LiteLLM 代理服务器: uv tool install 'litellm[proxy]' 指定模型启动代理，然后访问 http://0.0.0.0:4000: litellm --model gpt-4o

在哪里获取 litellm？

源代码和安装说明在 GitHub 上：https://github.com/BerriAI/litellm