Framework de serving de inferencia distribuida a escala de centros de datos que coordina vLLM, SGLang y TensorRT-LLM en varias GPU y nodos.
8,4 mil1,8 milRustOtherActualizado hace 7 horas
#disaggregated-serving
Proyectos open source sobre «disaggregated-serving»
Repositorios de GitHub seleccionados relacionados con disaggregated-serving, con resúmenes de IA y métricas clave.
Ordenar:Añadidos recientemente
1 repositorio