Repolode
Enviar
theopenco

theopenco/llmgateway

Gateway de API open source que encaminha solicitações a LLMs para vários provedores por uma interface compatível com a OpenAI, com gerenciamento de chaves e análise de uso.

Alternativa open source a:OpenRouter

Ver no GitHubSite
Estrelas
1,726
Forks
201
Issues abertas
87
Último commit
ontem

O que é?

O LLM Gateway fica entre seus aplicativos e provedores de modelos de linguagem de grande porte, como OpenAI, Anthropic e Google Vertex AI. Os aplicativos enviam solicitações a um único endpoint, e o gateway as encaminha ao provedor escolhido, sem que você precise integrar cada serviço separadamente.

As chaves de API dos diferentes provedores são gerenciadas em um só lugar. O gateway acompanha solicitações, uso de tokens, tempos de resposta e custos, além de incluir comparações de desempenho entre modelos para ajudar a avaliar o custo-benefício.

Você pode usar o serviço hospedado em llmgateway.io ou hospedá-lo por conta própria com Docker, usando um contêiner unificado que inclui PostgreSQL e Redis. A base de código é um monorepo em TypeScript, com backend em Hono, dashboards em Next.js e um schema do Drizzle ORM. O núcleo é licenciado sob AGPLv3, enquanto alguns recursos empresariais no diretório ee/ estão sob uma licença comercial separada.

Recursos principais

  • 01Oferece uma API compatível com a OpenAI para encaminhar solicitações a vários provedores
  • 02Gerencia centralmente as chaves de API de diferentes provedores
  • 03Acompanha o uso de tokens, os custos e os tempos de resposta de cada solicitação
  • 04Compara o desempenho e o custo entre modelos
  • 05Pode ser hospedado por conta própria com Docker ou usado como serviço hospedado

Casos de uso

  • Migrar um aplicativo existente baseado na OpenAI para outros provedores com o mínimo de alterações no código
  • Acompanhar os gastos com LLMs e o uso de tokens em uma equipe ou em vários projetos
  • Comparar o custo e a latência dos modelos antes de escolher um modelo padrão
  • Executar um gateway de LLM hospedado por conta própria, mantendo os dados das solicitações sob seu controle

Início rápido

  1. 1

    Instale as dependências e configure o ambiente de desenvolvimento (requer Docker).

    pnpm i && pnpm run setup
  2. 2

    Inicie os servidores de desenvolvimento.

    pnpm dev

Antes de usar

  • O código principal é licenciado sob AGPLv3, uma licença copyleft que impõe obrigações a serviços oferecidos pela rede.
  • Os recursos comerciais no diretório ee/ exigem uma licença Enterprise paga.
  • A configuração do ambiente de desenvolvimento depende de serviços Docker para o banco de dados e componentes relacionados.

Em coleções

Ferramentas, skills e plugins para Claude CodePlataformas de OpenTelemetry e observabilidadeFrameworks de microsserviços e infraestrutura de serviços

Tópicos

#llm#ai-gateway#openai-compatible#api-gateway#observability#rate-limiting#typescript#ai#analytics#anthropic

Perguntas frequentes

O que é llmgateway?
Gateway de API open source que encaminha solicitações a LLMs para vários provedores por uma interface compatível com a OpenAI, com gerenciamento de chaves e análise de uso. O LLM Gateway fica entre seus aplicativos e provedores de modelos de linguagem de grande porte, como OpenAI, Anthropic e Google Vertex AI. Os aplicativos enviam solicitações a um único endpoint, e o gateway as encaminha ao provedor escolhido, sem que você precise integrar cada serviço separadamente.
llmgateway é gratuito? Qual é a licença?
llmgateway é open source sob a licença Other. Confira os termos da licença antes de usá-lo em produtos comerciais.
llmgateway ainda é mantido?
Manutenção ativa. O último commit de llmgateway foi em 6 de nov. de 2026.
Para que posso usar llmgateway?
Migrar um aplicativo existente baseado na OpenAI para outros provedores com o mínimo de alterações no código Acompanhar os gastos com LLMs e o uso de tokens em uma equipe ou em vários projetos Comparar o custo e a latência dos modelos antes de escolher um modelo padrão Executar um gateway de LLM hospedado por conta própria, mantendo os dados das solicitações sob seu controle
Como instalar llmgateway?
Instale as dependências e configure o ambiente de desenvolvimento (requer Docker).: pnpm i && pnpm run setup Inicie os servidores de desenvolvimento.: pnpm dev
Onde consigo llmgateway?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/theopenco/llmgateway

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados