Repolode
Enviar
mylxsw

mylxsw/llm-gateway

Gateway de LLM autohospedado que hace de proxy para las API de OpenAI, Anthropic y compatibles, con enrutamiento, failover, registro de solicitudes y un panel web.

Alternativa open source a:OpenRouterPortkey

Ver en GitHubSitio web
Estrellas
76
Forks
20
Issues abiertos
1
Último commit
hace 18 días

¿Qué es?

Squirrel es un servicio proxy que se sitúa entre tus aplicaciones y los proveedores de LLM. Las aplicaciones apuntan sus SDK de OpenAI o Anthropic al gateway, que reenvía las solicitudes a los proveedores upstream configurados. Así, las credenciales de los proveedores, los nombres de los modelos y las reglas de enrutamiento se gestionan desde un único lugar.

El enrutamiento admite estrategias de round-robin, prioridad, ponderación y costo, además de reglas basadas en el nombre del modelo, los encabezados, el contenido de los mensajes o la cantidad de tokens. Si un proveedor upstream devuelve errores del servidor, las solicitudes se reintentan y pueden pasar a proveedores de respaldo. También convierte entre los formatos OpenAI Chat, OpenAI Responses y Anthropic Messages, incluido el streaming.

Cada solicitud se registra con la cantidad de tokens, la latencia y los cuerpos completos de solicitud y respuesta, con una retención separada para las cargas útiles grandes. Un panel de Next.js permite gestionar proveedores, asignaciones de modelos y API keys, y un endpoint MCP permite que los agentes de IA inspeccionen o gestionen el gateway. Se ejecuta con SQLite de forma predeterminada o con PostgreSQL, y se puede implementar con Docker.

Funciones clave

  • 01Ofrece endpoints de OpenAI Chat, Responses, Embeddings, audio e imágenes, además de Anthropic Messages.
  • 02Convierte solicitudes y respuestas en streaming entre los formatos OpenAI Chat, OpenAI Responses y Anthropic.
  • 03Enruta mediante round-robin, prioridad, ponderación o menor costo, con coincidencia basada en reglas.
  • 04Reintenta las solicitudes ante errores del servidor y pasa a proveedores de respaldo.
  • 05Registra el uso de tokens, la latencia y los cuerpos completos de solicitudes y respuestas, con ocultamiento de datos sensibles.
  • 06Ofrece un panel web y una interfaz MCP para la gestión.

Casos de uso

  • Dar a varias aplicaciones internas un único endpoint y una API key para acceder a varios proveedores de LLM.
  • Añadir failover para que una caída de un proveedor no interrumpa una función de IA.
  • Hacer seguimiento del uso de tokens y del costo por API key, modelo o proveedor.
  • Conectar código existente basado en los SDK de OpenAI o Anthropic con modelos autohospedados o locales, como Ollama o vLLM.

Inicio rápido

  1. 1

    Clona el repositorio

    git clone https://github.com/mylxsw/llm-gateway.git
  2. 2

    Entra en el directorio del proyecto y configura ADMIN_USERNAME y ADMIN_PASSWORD antes de iniciarlo

    cd llm-gateway
  3. 3

    Inicia los servicios con Docker Compose (panel en http://localhost:8000)

    docker compose -f docker-compose.prod.yml up -d

Antes de usarlo

  • Las API de administración están abiertas de forma predeterminada si no se configuran ADMIN_USERNAME y ADMIN_PASSWORD, por lo que es necesario establecer las credenciales.
  • El proyecto es autohospedado y requiere configurar proveedores, claves de API y una clave de cifrado para usarlo en producción.
  • Los metadatos no indican ninguna licencia, aunque la insignia del README dice MIT.

Temas

#llm#llm-gateway#proxy#openai#anthropic#load-balancing#failover#api-gateway

Preguntas frecuentes

¿Qué es llm-gateway?
Gateway de LLM autohospedado que hace de proxy para las API de OpenAI, Anthropic y compatibles, con enrutamiento, failover, registro de solicitudes y un panel web. Squirrel es un servicio proxy que se sitúa entre tus aplicaciones y los proveedores de LLM. Las aplicaciones apuntan sus SDK de OpenAI o Anthropic al gateway, que reenvía las solicitudes a los proveedores upstream configurados. Así, las credenciales de los proveedores, los nombres de los modelos y las reglas de enrutamiento se gestionan desde un único lugar.
¿llm-gateway es gratuito? ¿Qué licencia tiene?
llm-gateway no declara ninguna licencia. Su código es público, pero sin licencia no tienes permiso explícito para reutilizarlo; consulta al autor antes de depender de él.
¿llm-gateway sigue mantenido?
Mantenimiento activo. El último commit de llm-gateway fue el 4 oct 2026.
¿Para qué puedo usar llm-gateway?
Dar a varias aplicaciones internas un único endpoint y una API key para acceder a varios proveedores de LLM. Añadir failover para que una caída de un proveedor no interrumpa una función de IA. Hacer seguimiento del uso de tokens y del costo por API key, modelo o proveedor. Conectar código existente basado en los SDK de OpenAI o Anthropic con modelos autohospedados o locales, como Ollama o vLLM.
¿Cómo se instala llm-gateway?
Clona el repositorio: git clone https://github.com/mylxsw/llm-gateway.git Entra en el directorio del proyecto y configura ADMIN_USERNAME y ADMIN_PASSWORD antes de iniciarlo: cd llm-gateway Inicia los servicios con Docker Compose (panel en http://localhost:8000): docker compose -f docker-compose.prod.yml up -d
¿Dónde consigo llm-gateway?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/mylxsw/llm-gateway

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados