Repolode
Enviar
theagentrouter

theagentrouter/agent-router

Um control plane open source baseado no Envoy que oferece às aplicações uma única API compatível com OpenAI para provedores de LLM hospedados, inferência self-hosted e servidores MCP.

Ver no GitHubSite
Estrelas
2,250
Forks
423
Issues abertas
368
Último commit
há 12 horas

O que é?

O Agent Router é um gateway para tráfego de IA e agentes. As equipes de aplicação chamam uma única API compatível com OpenAI, independentemente do modelo ou da ferramenta usados nos bastidores — seja um provedor hospedado, um cluster de inferência self-hosted ou um servidor MCP. As equipes de plataforma gerenciam credenciais, roteamento, cotas, failover e atribuição de uso em um só lugar, com a aplicação das políticas a cargo do Envoy e do Envoy Gateway.

O projeto era conhecido anteriormente como Envoy AI Gateway e mantém os mesmos CRDs, grupo de API, nome da CLI e imagens de container. Em um laptop, a CLI aigw pode executá-lo como um roteador standalone compatível com OpenAI no localhost. No Kubernetes, a implantação é feita pelo Envoy Gateway com recursos personalizados, como AIGatewayRoute e AIServiceBackend.

O projeto descreve um padrão de dois níveis: um gateway Tier One cuida da autenticação, do roteamento de alto nível e do rate limiting global, enquanto um gateway Tier Two controla o acesso a clusters de serving de modelos self-hosted e oferece suporte ao endpoint picker para otimizar a inferência.

Recursos principais

  • 01Oferece uma única API compatível com OpenAI para diversos provedores de modelos.
  • 02Oferece suporte a provedores hospedados, como OpenAI, Anthropic, AWS Bedrock e Google Gemini, além de inferência self-hosted.
  • 03Gerencia credenciais, roteamento, cotas e failover de forma centralizada.
  • 04Executa standalone em um laptop com a CLI aigw ou no Kubernetes via Envoy Gateway.
  • 05Oferece um padrão de gateway de dois níveis com suporte ao endpoint picker para modelos self-hosted.

Casos de uso

  • Oferecer às equipes de aplicação uma única chave de API e um único endpoint para vários provedores de LLM.
  • Centralizar limites de requisições, cotas e acompanhamento de uso do tráfego de IA em toda a organização.
  • Roteiar requisições entre modelos hospedados e clusters de inferência self-hosted no Kubernetes.
  • Executar um endpoint local compatível com OpenAI para desenvolvimento usando aigw run.

Início rápido

  1. 1

    Execute o Agent Router de forma independente no seu notebook usando sua chave da OpenAI

    OPENAI_API_KEY=sk-your-key aigw run
  2. 2

    Configure qualquer cliente compatível com OpenAI para usar o endpoint local http://localhost:1975/v1

  3. 3

    Consulte o guia da CLI para ver as instruções de instalação e configuração automática do provedor

Antes de usar

  • O README não inclui um comando de instalação por gerenciador de pacotes; a instalação é explicada no guia externo da CLI.
  • A implantação no Kubernetes exige o Envoy Gateway e requer uma configuração separada e mais complexa.

Tópicos

#llm#api-gateway#envoy#kubernetes#inference#openai-compatible#mcp#ai#ai-gateway#envoyproxy

Perguntas frequentes

O que é agent-router?
Um control plane open source baseado no Envoy que oferece às aplicações uma única API compatível com OpenAI para provedores de LLM hospedados, inferência self-hosted e servidores MCP. O Agent Router é um gateway para tráfego de IA e agentes. As equipes de aplicação chamam uma única API compatível com OpenAI, independentemente do modelo ou da ferramenta usados nos bastidores — seja um provedor hospedado, um cluster de inferência self-hosted ou um servidor MCP. As equipes de plataforma gerenciam credenciais, roteamento, cotas, failover e atribuição de uso em um só lugar, com a aplicação das políticas a cargo do Envoy e do Envoy Gateway.
agent-router é gratuito? Qual é a licença?
agent-router é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
agent-router ainda é mantido?
Manutenção ativa. O último commit de agent-router foi em 20 de out. de 2026.
Para que posso usar agent-router?
Oferecer às equipes de aplicação uma única chave de API e um único endpoint para vários provedores de LLM. Centralizar limites de requisições, cotas e acompanhamento de uso do tráfego de IA em toda a organização. Roteiar requisições entre modelos hospedados e clusters de inferência self-hosted no Kubernetes. Executar um endpoint local compatível com OpenAI para desenvolvimento usando aigw run.
Como instalar agent-router?
Execute o Agent Router de forma independente no seu notebook usando sua chave da OpenAI: OPENAI_API_KEY=sk-your-key aigw run Configure qualquer cliente compatível com OpenAI para usar o endpoint local http://localhost:1975/v1 Consulte o guia da CLI para ver as instruções de instalação e configuração automática do provedor
Onde consigo agent-router?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/theagentrouter/agent-router

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados