Um operador Kubernetes para implantar e gerenciar o serving de LLMs, com agendamento de GPUs e gerenciamento do ciclo de vida de modelos para SGLang, vLLM, TensorRT-LLM e Triton.
518104GoApache-2.0Atualizado há 14 horas
#gpu-scheduling
Projetos open source sobre “gpu-scheduling”
Repositórios do GitHub selecionados relacionados a gpu-scheduling, com resumos de IA e métricas principais.
Ordenar:Adicionados recentemente
2 repositórios
Plataforma MLOps cloud-native no Kubernetes: notebooks, pipelines com arrastar e soltar, treinamento distribuído e serving de LLMs.
2,6 mil214PythonOtherAtualizado há 10 dias