Um operador Kubernetes para implantar e gerenciar o serving de LLMs, com agendamento de GPUs e gerenciamento do ciclo de vida de modelos para SGLang, vLLM, TensorRT-LLM e Triton.
518104GoApache-2.0Atualizado há 15 horas
#kimi-k2
Repositórios do GitHub selecionados relacionados a kimi-k2, com resumos de IA e métricas principais.
Um operador Kubernetes para implantar e gerenciar o serving de LLMs, com agendamento de GPUs e gerenciamento do ciclo de vida de modelos para SGLang, vLLM, TensorRT-LLM e Triton.