BerriAI/litellm

Что это?

Ключевые возможности

• 01Обращается к 100+ LLM-провайдерам, используя формат запросов OpenAI.
• 02Собственный proxy с виртуальными ключами и учётом расходов по проектам.
• 03Балансировка нагрузки, повторные попытки и резервная маршрутизация между несколькими deployments.
• 04Guardrails и callbacks для логирования и наблюдаемости.
• 05Подключает A2A-агентов и MCP-серверы через шлюз.

Сценарии использования

• Предоставить команде единый внутренний endpoint для работы с несколькими LLM-провайдерами, с ключами и лимитами расходов для каждого пользователя.
• Переключаться между моделями OpenAI и Anthropic в коде приложения без переписывания API-вызовов.
• Развернуть LLM-шлюз в AWS или GCP с помощью готовых Terraform-модулей.

Быстрый старт

1. 1

   Установите прокси-сервер LiteLLM с помощью uv

   uv tool install 'litellm[proxy]'
2. 2

   Запустите прокси, указав модель, а затем отправляйте запросы на http://0.0.0.0:4000

   litellm --model gpt-4o

Что важно знать

• !Лицензия не указана однозначно (в метаданных указано NOASSERTION), поэтому перед использованием ознакомьтесь с условиями лицензии.
• !Для вызова каждого провайдера нужны собственные API-ключи.
• !Некоторые заявленные функции, например корпоративный тариф, предоставляются отдельно от проекта с открытым исходным кодом.

Темы

Частые вопросы

Что такое litellm?

Открытый AI Gateway и Python SDK для работы с 100+ LLM-провайдерами через единый интерфейс в формате OpenAI. LiteLLM позволяет разработчикам обращаться к множеству LLM-провайдеров, включая OpenAI, Anthropic, Gemini, Bedrock, Azure и Vertex AI, через единый совместимый с OpenAI интерфейс. Его можно использовать как Python-библиотеку в приложении или развернуть как собственный proxy-сервер — централизованный шлюз для команды или организации.

litellm можно использовать бесплатно? Какая у него лицензия?

litellm распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.

litellm всё ещё поддерживается?

Активно поддерживается. Последний коммит в litellm — 20 окт. 2026 г..

Для чего можно использовать litellm?

Предоставить команде единый внутренний endpoint для работы с несколькими LLM-провайдерами, с ключами и лимитами расходов для каждого пользователя. Переключаться между моделями OpenAI и Anthropic в коде приложения без переписывания API-вызовов. Развернуть LLM-шлюз в AWS или GCP с помощью готовых Terraform-модулей.

Как установить litellm?

Установите прокси-сервер LiteLLM с помощью uv: uv tool install 'litellm[proxy]' Запустите прокси, указав модель, а затем отправляйте запросы на http://0.0.0.0:4000: litellm --model gpt-4o

Где скачать litellm?

Исходный код и инструкции по установке — на GitHub: https://github.com/BerriAI/litellm