Kubernetes-оператор для развертывания и управления сервингом LLM: планирование GPU и жизненный цикл моделей для SGLang, vLLM, TensorRT-LLM и Triton.
518104GoApache-2.0Обновлён 15 часов назад
#gpu-scheduling
Open source проекты по теме «gpu-scheduling»
Отобранные репозитории GitHub по теме gpu-scheduling с описаниями от ИИ и ключевыми метриками.
Сортировка:Недавно добавленные
2 репозитория
Облачная MLOps-платформа на Kubernetes: ноутбуки, визуальные пайплайны, распределённое обучение и обслуживание LLM.
2,6 тыс.214PythonOtherОбновлён 10 дней назад