Un operador de Kubernetes para desplegar y gestionar servicios de inferencia de LLM, con planificación de GPU y gestión del ciclo de vida de modelos para SGLang, vLLM, TensorRT-LLM y Triton.
518104GoApache-2.0Actualizado hace 14 horas
#gpu-scheduling
Proyectos open source sobre «gpu-scheduling»
Repositorios de GitHub seleccionados relacionados con gpu-scheduling, con resúmenes de IA y métricas clave.
Ordenar:Añadidos recientemente
2 repositorios
Plataforma MLOps nativa de la nube sobre Kubernetes: notebooks, pipelines con editor visual, entrenamiento distribuido y serving de LLM.
2,6 mil214PythonOtherActualizado hace 10 días