Un operador de Kubernetes para desplegar y gestionar servicios de inferencia de LLM, con planificación de GPU y gestión del ciclo de vida de modelos para SGLang, vLLM, TensorRT-LLM y Triton.
518104GoApache-2.0Actualizado hace 15 horas
#kimi-k2
Repositorios de GitHub seleccionados relacionados con kimi-k2, con resúmenes de IA y métricas clave.
Un operador de Kubernetes para desplegar y gestionar servicios de inferencia de LLM, con planificación de GPU y gestión del ciclo de vida de modelos para SGLang, vLLM, TensorRT-LLM y Triton.