Un único binario de Rust que ofrece a cualquier SDK de IA un endpoint para acceder a varios proveedores de LLM, con herramientas MCP, control del tráfico y registro de solicitudes.
Alternativa open source a:OpenRouter
Respan Gateway se interpone entre tu código y las API de IA. Basta con apuntar un SDK existente de OpenAI, Anthropic o Gemini a este gateway para que enrute las llamadas a cualquier modelo de chat configurado y traduzca entre formatos de solicitud, incluidos streaming, herramientas, imágenes y razonamiento.
Además del chat, ofrece API de voz en tiempo real, imágenes, voz, transcripción, embeddings y video de varios proveedores. También puede conectar servidores MCP y proveedores de herramientas integrados, como búsqueda web, navegación y entornos aislados para ejecutar código, para que cualquier llamada de chat pueda usar esas herramientas, independientemente del cliente o del modelo.
La gestión del tráfico incluye rutas con nombre, fallback, reintentos, selección del proveedor más económico o más rápido y solicitudes hedged. Un registro en tiempo real guarda el costo, la latencia y los tokens de cada llamada, y las trazas se pueden enviar a Respan. La configuración se hace en un único archivo TOML; además, el gateway puede ejecutarse dentro del proceso desde Python o integrarse en un servicio de Rust.
Instala el gateway con pip
pip install respan-gatewayConfigura la clave de API del proveedor y ejecuta el gateway
export OPENAI_API_KEY=sk-...
respan-gatewayConfigura el SDK para que apunte a http://localhost:8080 y llama a cualquier modelo
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Gateway de IA autohospedable con licencia MIT que ofrece un endpoint compatible con OpenAI para cientos de proveedores de modelos, con fallback automático según las cuotas y compresión de tokens.
Gateway de LLM autohospedado y compatible con OpenAI que dirige las solicitudes desde un único endpoint a más de 40 proveedores, con claves virtuales, presupuestos y seguimiento del uso.
Una puerta de enlace de API para LLM autohospedada y dirigida a usuarios individuales, que agrupa varios proveedores en un único endpoint con conmutación por error y seguimiento de costos.
Gateway de API de código abierto que enruta solicitudes de LLM entre varios proveedores mediante una interfaz compatible con OpenAI, con gestión de claves y análisis de uso.
Gateway de Go de código abierto que enruta solicitudes a LLM de 30 proveedores mediante una API compatible con OpenAI, con caché, protecciones y controles de costos.
Gateway de IA autohospedado en Go que ofrece una API compatible con OpenAI y Anthropic para múltiples proveedores de LLM, con seguimiento de costos, conmutación por error y controles de seguridad.