BerriAI/litellm

O que é?

Recursos principais

• 01Acessa mais de 100 provedores de LLM usando o formato de requisição da OpenAI.
• 02Proxy autohospedado com chaves virtuais e acompanhamento de gastos por projeto.
• 03Balanceamento de carga, novas tentativas e roteamento de fallback entre várias implantações.
• 04Guardrails e callbacks de logging para observabilidade.
• 05Conecta agentes A2A e servidores MCP pelo gateway.

Casos de uso

• Oferecer a uma equipe um único endpoint interno para vários provedores de LLM, com chaves e orçamentos por usuário.
• Alternar entre modelos da OpenAI e da Anthropic no código da aplicação sem reescrever as chamadas à API.
• Implantar um gateway de LLM na AWS ou no GCP usando os módulos Terraform fornecidos.

Início rápido

1. 1

   Instale o servidor proxy do LiteLLM com uv

   uv tool install 'litellm[proxy]'
2. 2

   Inicie o proxy com um modelo e, em seguida, faça chamadas para http://0.0.0.0:4000

   litellm --model gpt-4o

Antes de usar

• !A licença não está claramente identificada (os metadados mostram NOASSERTION), então verifique os termos da licença antes de usar.
• !Para chamar cada provedor, você precisa das suas próprias chaves de API.
• !Alguns recursos anunciados, como o plano Enterprise, são oferecidos separadamente do projeto de código aberto.

Tópicos

Perguntas frequentes

O que é litellm?

AI Gateway de código aberto e SDK Python que acessam mais de 100 provedores de LLM por meio de uma única interface compatível com OpenAI. O LiteLLM permite que desenvolvedores acessem vários provedores de LLM, incluindo OpenAI, Anthropic, Gemini, Bedrock, Azure e Vertex AI, por meio de uma única interface compatível com OpenAI. Ele pode ser usado como biblioteca Python no código da aplicação ou implantado como um servidor proxy autohospedado que funciona como gateway central para uma equipe ou organização.

litellm é gratuito? Qual é a licença?

litellm é open source sob a licença Other. Confira os termos da licença antes de usá-lo em produtos comerciais.

litellm ainda é mantido?

Manutenção ativa. O último commit de litellm foi em 20 de out. de 2026.

Para que posso usar litellm?

Oferecer a uma equipe um único endpoint interno para vários provedores de LLM, com chaves e orçamentos por usuário. Alternar entre modelos da OpenAI e da Anthropic no código da aplicação sem reescrever as chamadas à API. Implantar um gateway de LLM na AWS ou no GCP usando os módulos Terraform fornecidos.

Como instalar litellm?

Instale o servidor proxy do LiteLLM com uv: uv tool install 'litellm[proxy]' Inicie o proxy com um modelo e, em seguida, faça chamadas para http://0.0.0.0:4000: litellm --model gpt-4o

Onde consigo litellm?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/BerriAI/litellm