Repolode
Enviar
mylxsw

mylxsw/llm-gateway

Gateway de LLM auto-hospedado que encaminha chamadas para APIs OpenAI, Anthropic e compatíveis, com roteamento, failover, registro de requisições e painel web.

Alternativa open source a:OpenRouterPortkey

Ver no GitHubSite
Estrelas
76
Forks
20
Issues abertas
1
Último commit
há 18 dias

O que é?

Squirrel é um serviço de proxy entre suas aplicações e provedores de LLM. As aplicações apontam seus SDKs da OpenAI ou Anthropic para o gateway, que encaminha as requisições aos provedores upstream configurados. Assim, as credenciais dos provedores, os nomes dos modelos e as regras de roteamento ficam centralizados.

O roteamento oferece estratégias de round-robin, prioridade, ponderação por peso e custo, além de regras baseadas no nome do modelo, em headers, no conteúdo das mensagens ou na contagem de tokens. Quando um provedor upstream retorna erros de servidor, as requisições são repetidas e podem usar provedores de backup. O serviço também converte entre os formatos OpenAI Chat, OpenAI Responses e Anthropic Messages, inclusive em streaming.

Cada requisição é registrada com a contagem de tokens, a latência e o conteúdo completo das requisições e respostas, com retenção separada para payloads volumosos. Um painel Next.js permite gerenciar provedores, mapeamentos de modelos e API keys, e um endpoint MCP permite que agentes de IA inspecionem ou gerenciem o gateway. Por padrão, ele usa SQLite, mas também pode usar PostgreSQL e ser implantado com Docker.

Recursos principais

  • 01Disponibiliza endpoints OpenAI Chat, Responses, Embeddings, áudio e imagem, além de Anthropic Messages.
  • 02Converte requisições e respostas em streaming entre os formatos OpenAI Chat, OpenAI Responses e Anthropic.
  • 03Faz o roteamento por round-robin, prioridade, peso ou menor custo, com correspondência baseada em regras.
  • 04Repete requisições após erros de servidor e faz failover para provedores de backup.
  • 05Registra o uso de tokens, a latência e o conteúdo completo das requisições e respostas, com ocultação de dados confidenciais.
  • 06Oferece um painel web e uma interface MCP para gerenciamento.

Casos de uso

  • Oferecer a várias aplicações internas um único endpoint e uma única API key para acessar vários provedores de LLM.
  • Adicionar failover para que uma interrupção em um provedor não deixe um recurso de IA indisponível.
  • Acompanhar o uso de tokens e os custos por API key, modelo ou provedor.
  • Direcionar código existente que usa SDKs da OpenAI ou Anthropic para modelos auto-hospedados ou locais, como Ollama ou vLLM.

Início rápido

  1. 1

    Clone o repositório

    git clone https://github.com/mylxsw/llm-gateway.git
  2. 2

    Acesse o diretório do projeto e defina ADMIN_USERNAME e ADMIN_PASSWORD antes de iniciar

    cd llm-gateway
  3. 3

    Inicie os serviços com Docker Compose (painel em http://localhost:8000)

    docker compose -f docker-compose.prod.yml up -d

Antes de usar

  • As APIs de administração ficam abertas por padrão se ADMIN_USERNAME e ADMIN_PASSWORD não forem definidos; portanto, é necessário configurar as credenciais.
  • O projeto é auto-hospedado e exige configurar provedores, chaves de API e uma chave de criptografia para uso em produção.
  • Os metadados não listam uma licença, embora o selo do README indique MIT.

Tópicos

#llm#llm-gateway#proxy#openai#anthropic#load-balancing#failover#api-gateway

Perguntas frequentes

O que é llm-gateway?
Gateway de LLM auto-hospedado que encaminha chamadas para APIs OpenAI, Anthropic e compatíveis, com roteamento, failover, registro de requisições e painel web. Squirrel é um serviço de proxy entre suas aplicações e provedores de LLM. As aplicações apontam seus SDKs da OpenAI ou Anthropic para o gateway, que encaminha as requisições aos provedores upstream configurados. Assim, as credenciais dos provedores, os nomes dos modelos e as regras de roteamento ficam centralizados.
llm-gateway é gratuito? Qual é a licença?
llm-gateway não declara licença. O código é público, mas sem licença você não tem permissão explícita para reutilizá-lo; fale com o autor antes de depender dele.
llm-gateway ainda é mantido?
Manutenção ativa. O último commit de llm-gateway foi em 4 de out. de 2026.
Para que posso usar llm-gateway?
Oferecer a várias aplicações internas um único endpoint e uma única API key para acessar vários provedores de LLM. Adicionar failover para que uma interrupção em um provedor não deixe um recurso de IA indisponível. Acompanhar o uso de tokens e os custos por API key, modelo ou provedor. Direcionar código existente que usa SDKs da OpenAI ou Anthropic para modelos auto-hospedados ou locais, como Ollama ou vLLM.
Como instalar llm-gateway?
Clone o repositório: git clone https://github.com/mylxsw/llm-gateway.git Acesse o diretório do projeto e defina ADMIN_USERNAME e ADMIN_PASSWORD antes de iniciar: cd llm-gateway Inicie os serviços com Docker Compose (painel em http://localhost:8000): docker compose -f docker-compose.prod.yml up -d
Onde consigo llm-gateway?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/mylxsw/llm-gateway

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados