Gateway de Go de código abierto que enruta solicitudes a LLM de 30 proveedores mediante una API compatible con OpenAI, con caché, protecciones y controles de costos.
Alternativa open source a:LiteLLM
Ferro Labs AI Gateway es un proxy autogestionado que se sitúa entre tu aplicación y proveedores de LLM como OpenAI, Anthropic y AWS Bedrock. Los clientes envían solicitudes en el formato estándar de OpenAI a un único endpoint, y el gateway las reenvía al proveedor configurado mediante estrategias de enrutamiento que incluyen fallback, balanceo de carga, menor latencia, optimización de costos y pruebas A/B.
El gateway se distribuye como un único binario estático de Go que no requiere servicios externos. Incluye plugins integrados para filtrar palabras, ocultar PII, detectar secretos e identificar ataques de prompt injection, además de caché de respuestas, limitación de tasa y presupuestos por clave. También puede conectarse a servidores de herramientas MCP y ejecutar el ciclo de llamadas a herramientas. El rastreo de OpenTelemetry y las métricas de Prometheus están disponibles cuando se habilitan, y los binarios de lanzamiento incluyen un panel web.
La configuración se realiza en un único archivo YAML o JSON, y la CLI ofrece los comandos init, validate y doctor. Las opciones de despliegue incluyen Docker, Helm en Kubernetes, Railway y Render, con almacenamiento en SQLite o PostgreSQL.
Instala el CLI de ferrogw con npm
npm install -g ferrogwConfigura la clave de API del proveedor ascendente (en este caso, OpenAI)
export OPENAI_API_KEY=sk-your-keyEjecuta ferrogw init para crear config.yaml y mostrar la clave maestra; guárdala, ya que solo se muestra una vez
ferrogw initInicia el servidor en el puerto 8080 (configura primero GATEWAY_CONFIG y MASTER_KEY, tal como se describe en el README)
ferrogw serveResumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Gateway de IA de código abierto que ofrece una API compatible con OpenAI para más de 23 proveedores de LLM, con conmutación por error, balanceo de carga, caché semántica y claves virtuales.
Un único binario de Rust que ofrece a cualquier SDK de IA un endpoint para acceder a varios proveedores de LLM, con herramientas MCP, control del tráfico y registro de solicitudes.
Gateway de LLM autohospedado y compatible con OpenAI que dirige las solicitudes desde un único endpoint a más de 40 proveedores, con claves virtuales, presupuestos y seguimiento del uso.
Gateway de IA basado en Go que ofrece endpoints compatibles con OpenAI, Claude y Gemini, y distribuye las solicitudes entre varios canales de modelos upstream.
Gateway de IA autohospedado en Go que ofrece una API compatible con OpenAI y Anthropic para múltiples proveedores de LLM, con seguimiento de costos, conmutación por error y controles de seguridad.
Gateway de IA autohospedable con licencia MIT que ofrece un endpoint compatible con OpenAI para cientos de proveedores de modelos, con fallback automático según las cuotas y compresión de tokens.