Gateway de LLM em Rust, independente de engine, que roteia tráfego compatível com OpenAI e Anthropic entre engines de inferência self-hosted e provedores de modelos na nuvem.
633195RustApache-2.0Atualizado há 18 horas
#sglang
Repositórios do GitHub selecionados relacionados a sglang, com resumos de IA e métricas principais.
Gateway de LLM em Rust, independente de engine, que roteia tráfego compatível com OpenAI e Anthropic entre engines de inferência self-hosted e provedores de modelos na nuvem.