SGLang é um framework open source de inferência para servir modelos de linguagem, visão-linguagem e difusão em diversas plataformas com GPU, TPU e CPU.
37,5 mil9,7 milPythonApache-2.0Atualizado há 5 horas
#serving
Projetos open source sobre “serving”
Repositórios do GitHub selecionados relacionados a serving, com resumos de IA e métricas principais.
Ordenar:Adicionados recentemente
1 repositório