Framework de serving distribuído para inferência em escala de datacenter, que orquestra vLLM, SGLang e TensorRT-LLM em várias GPUs e nós.
8,4 mil1,8 milRustOtherAtualizado há 7 horas
#disaggregated-serving
Projetos open source sobre “disaggregated-serving”
Repositórios do GitHub selecionados relacionados a disaggregated-serving, com resumos de IA e métricas principais.
Ordenar:Adicionados recentemente
1 repositório