Um mecanismo de serving de MoE nativo para edge que executa modelos open-weight grandes, como DeepSeek-V4 e Qwen3.6, em GPUs de consumo, dividindo o trabalho entre a memória da GPU e a da CPU.
14,6 mil1,5 milPythonApache-2.0Atualizado há 15 horas
#glm
Repositórios do GitHub selecionados relacionados a glm, com resumos de IA e métricas principais.
Um mecanismo de serving de MoE nativo para edge que executa modelos open-weight grandes, como DeepSeek-V4 e Qwen3.6, em GPUs de consumo, dividindo o trabalho entre a memória da GPU e a da CPU.