Uma camada de decisão aberta e programável que seleciona ou combina LLMs para cada solicitação, em backends locais, privados e na nuvem, usando um único endpoint de API.
O vLLM Semantic Router fica entre um agente ou aplicativo e um conjunto de backends de modelos. Em vez de enviar todas as chamadas para um único modelo, ele oferece um endpoint de inferência único (por exemplo, o ID de modelo público vllm-sr/auto) e decide, a cada chamada, qual modelo configurado — ou combinação de modelos — deve responder, com base nas políticas definidas pelo operador.
A política de roteamento abrange prioridades de qualidade, latência e custo, além dos locais onde as chamadas podem ser executadas, como edge, ambiente privado ou computação na nuvem. O harness do agente mantém seu próprio loop, ferramentas e estado da tarefa; o roteador cuida apenas da seleção de modelos e backends. O instalador, o playground e as coleções de modelos do Hugging Face fazem parte das ferramentas publicadas pelo projeto.
O projeto é escrito principalmente em Go e se destina a equipes que executam vários LLMs e querem configurar as decisões de roteamento em vez de deixá-las codificadas no código do aplicativo. Ele é licenciado sob Apache-2.0 e inclui tópicos relacionados ao Kubernetes nos metadados do repositório.
Execute o script oficial de instalação do README
Aponte seu agent harness para o endpoint do Router usando o model ID `vllm-sr/auto`
Se quiser, experimente o playground online
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Um guard em Python apenas com numpy que detecta, durante o streaming, corrupção na decodificação de LLMs, como loops de repetição e deriva de idioma, e aborta antes que o usuário veja tokens ruins.
Um control plane open source baseado no Envoy que oferece às aplicações uma única API compatível com OpenAI para provedores de LLM hospedados, inferência self-hosted e servidores MCP.
Um operador do Kubernetes que implanta e escala automaticamente modelos de LLM, embeddings, reranking e transcrição de fala por meio de uma API compatível com a OpenAI.
Plataforma de inferência nativa do Kubernetes para implantar e servir grandes modelos de linguagem com backends plugáveis, como vLLM, SGLang e llama.cpp.
Ponto de entrada inteligente para tráfego de inferência de LLM, que roteia solicitações no Kubernetes com base em carga, cache de prefixo e prioridade.
Um único binário Rust que oferece a qualquer SDK de IA um endpoint para acessar vários provedores de LLM, com ferramentas MCP, controle de tráfego e registro de requisições.