Um mecanismo de inferência MoE nativo de edge que executa modelos grandes de pesos abertos, como DeepSeek-V4 e Qwen3.6, em GPUs e CPUs de consumo.
14,6 mil1,5 milPythonApache-2.0Atualizado há 4 horas
#llm-serving
Projetos open source sobre “llm-serving”
Repositórios do GitHub selecionados relacionados a llm-serving, com resumos de IA e métricas principais.
Ordenar:Adicionados recentemente
1 repositório