Repolode
Enviar
theagentrouter

theagentrouter/agent-router

Un plano de control de código abierto basado en Envoy que ofrece a las aplicaciones una API compatible con OpenAI para proveedores de LLM alojados, inferencia autogestionada y servidores MCP.

Ver en GitHubSitio web
Estrellas
2,250
Forks
423
Issues abiertos
368
Último commit
hace 12 horas

¿Qué es?

Agent Router es una puerta de enlace para el tráfico de IA y agentes. Los equipos de desarrollo de aplicaciones usan una única API compatible con OpenAI, independientemente del modelo o la herramienta que haya detrás: un proveedor alojado, un clúster de inferencia autogestionado o un servidor MCP. Los equipos de plataforma gestionan credenciales, enrutamiento, cuotas, conmutación por error y atribución del uso desde un único lugar, mientras que Envoy y Envoy Gateway se encargan de aplicar las políticas.

El proyecto se conocía anteriormente como Envoy AI Gateway y conserva los mismos CRD, grupo de API, nombre de CLI e imágenes de contenedor. En una laptop, la CLI aigw puede ejecutarlo como un enrutador independiente compatible con OpenAI en localhost. En Kubernetes, se implementa mediante Envoy Gateway con recursos personalizados como AIGatewayRoute y AIServiceBackend.

El proyecto describe un patrón de dos niveles: una puerta de enlace Tier One se ocupa de la autenticación, el enrutamiento de alto nivel y la limitación global de solicitudes, mientras que una puerta de enlace Tier Two controla el acceso a los clústeres de servicio de modelos autogestionados y admite la selección de endpoints para optimizar la inferencia.

Funciones clave

  • 01Ofrece una única API compatible con OpenAI para acceder a numerosos proveedores de modelos.
  • 02Es compatible con proveedores alojados como OpenAI, Anthropic, AWS Bedrock y Google Gemini, además de la inferencia autogestionada.
  • 03Gestiona de forma centralizada las credenciales, el enrutamiento, las cuotas y la conmutación por error.
  • 04Se ejecuta de forma independiente en una laptop con la CLI aigw o en Kubernetes mediante Envoy Gateway.
  • 05Ofrece un patrón de puerta de enlace de dos niveles con compatibilidad con la selección de endpoints para modelos autogestionados.

Casos de uso

  • Proporcionar a los equipos de desarrollo de aplicaciones una única clave de API y un endpoint para varios proveedores de LLM.
  • Centralizar los límites de solicitudes, las cuotas y el seguimiento del uso del tráfico de IA en toda una organización.
  • Enrutar solicitudes entre modelos alojados y clústeres de inferencia autogestionados en Kubernetes.
  • Ejecutar un endpoint local compatible con OpenAI para desarrollo con aigw run.

Inicio rápido

  1. 1

    Ejecuta Agent Router de forma independiente en tu portátil con tu clave de OpenAI

    OPENAI_API_KEY=sk-your-key aigw run
  2. 2

    Configura cualquier cliente compatible con OpenAI para que use el endpoint local http://localhost:1975/v1

  3. 3

    Consulta la guía de CLI para la instalación y la configuración automática del proveedor

Antes de usarlo

  • El README no incluye un comando de instalación mediante un gestor de paquetes; la instalación se explica en la guía de CLI externa.
  • El despliegue en Kubernetes requiere Envoy Gateway y supone una configuración aparte y más compleja.

Temas

#llm#api-gateway#envoy#kubernetes#inference#openai-compatible#mcp#ai#ai-gateway#envoyproxy

Preguntas frecuentes

¿Qué es agent-router?
Un plano de control de código abierto basado en Envoy que ofrece a las aplicaciones una API compatible con OpenAI para proveedores de LLM alojados, inferencia autogestionada y servidores MCP. Agent Router es una puerta de enlace para el tráfico de IA y agentes. Los equipos de desarrollo de aplicaciones usan una única API compatible con OpenAI, independientemente del modelo o la herramienta que haya detrás: un proveedor alojado, un clúster de inferencia autogestionado o un servidor MCP. Los equipos de plataforma gestionan credenciales, enrutamiento, cuotas, conmutación por error y atribución del uso desde un único lugar, mientras que Envoy y Envoy Gateway se encargan de aplicar las políticas.
¿agent-router es gratuito? ¿Qué licencia tiene?
agent-router es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿agent-router sigue mantenido?
Mantenimiento activo. El último commit de agent-router fue el 20 oct 2026.
¿Para qué puedo usar agent-router?
Proporcionar a los equipos de desarrollo de aplicaciones una única clave de API y un endpoint para varios proveedores de LLM. Centralizar los límites de solicitudes, las cuotas y el seguimiento del uso del tráfico de IA en toda una organización. Enrutar solicitudes entre modelos alojados y clústeres de inferencia autogestionados en Kubernetes. Ejecutar un endpoint local compatible con OpenAI para desarrollo con aigw run.
¿Cómo se instala agent-router?
Ejecuta Agent Router de forma independiente en tu portátil con tu clave de OpenAI: OPENAI_API_KEY=sk-your-key aigw run Configura cualquier cliente compatible con OpenAI para que use el endpoint local http://localhost:1975/v1 Consulta la guía de CLI para la instalación y la configuración automática del proveedor
¿Dónde consigo agent-router?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/theagentrouter/agent-router

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados