Framework de pesquisa para inferência de LLMs com CPU e GPU heterogêneas e fine-tuning LoRA/completo de grandes modelos MoE com memória de GPU limitada.
19,6 mil1,6 milPythonApache-2.0Atualizado anteontem
#cpu-offload
Projetos open source sobre “cpu-offload”
Repositórios do GitHub selecionados relacionados a cpu-offload, com resumos de IA e métricas principais.
Ordenar:Adicionados recentemente
1 repositório