Una capa de decisión abierta y programable que selecciona o combina LLM para cada solicitud entre backends locales, privados y en la nube, con un único endpoint de API.
vLLM Semantic Router se sitúa entre un agente o una aplicación y varios backends de modelos. En vez de enviar todas las llamadas a un solo modelo, ofrece un único endpoint de inferencia (por ejemplo, el ID público de modelo vllm-sr/auto) y decide, para cada llamada, qué modelo configurado o combinación de modelos debe responder, según las políticas que defina el operador.
La política de enrutamiento abarca las prioridades de calidad, latencia y costo, además de dónde se permite ejecutar las llamadas, como en edge, en infraestructura privada o en la nube. El entorno del agente mantiene su propio ciclo, sus herramientas y el estado de las tareas; el router solo se encarga de seleccionar el modelo y el backend. El instalador, el playground y las colecciones de modelos de Hugging Face forman parte de las herramientas publicadas del proyecto.
El proyecto está escrito principalmente en Go y está dirigido a equipos que ejecutan varios LLM y quieren que las decisiones de enrutamiento sean configurables en lugar de estar codificadas en la aplicación. Tiene licencia Apache-2.0 e incluye temas relacionados con Kubernetes en los metadatos del repositorio.
Ejecuta el script de instalación oficial del README
Configura tu agent harness para que apunte al endpoint de Router usando el model ID `vllm-sr/auto`
Prueba el playground en línea si quieres
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Un guardián de Python que solo usa numpy y detecta errores de decodificación de LLM, como bucles de repetición y cambios de idioma durante la generación, para detenerlos antes de mostrar tokens incorrectos.
Un plano de control de código abierto basado en Envoy que ofrece a las aplicaciones una API compatible con OpenAI para proveedores de LLM alojados, inferencia autogestionada y servidores MCP.
Un operador de Kubernetes que despliega y escala automáticamente modelos de LLM, embeddings, reranking y transcripción de voz mediante una API compatible con OpenAI.
Plataforma de inferencia nativa de Kubernetes para desplegar y servir modelos de lenguaje grandes con backends intercambiables como vLLM, SGLang y llama.cpp.
Un punto de entrada inteligente para el tráfico de inferencia de LLM que enruta solicitudes en Kubernetes según la carga, la caché de prefijos y la prioridad.
Un único binario de Rust que ofrece a cualquier SDK de IA un endpoint para acceder a varios proveedores de LLM, con herramientas MCP, control del tráfico y registro de solicitudes.