Um toolkit para compactar, implantar e servir LLMs e modelos de visão e linguagem, com engines de inferência TurboMind e PyTorch.
8,1 mil767PythonApache-2.0Atualizado há 4 horas
#cuda-kernels
Repositórios do GitHub selecionados relacionados a cuda-kernels, com resumos de IA e métricas principais.
Um toolkit para compactar, implantar e servir LLMs e modelos de visão e linguagem, com engines de inferência TurboMind e PyTorch.