Um mecanismo de serving de MoE nativo para edge que executa modelos open-weight grandes, como DeepSeek-V4 e Qwen3.6, em GPUs de consumo, dividindo o trabalho entre a memória da GPU e a da CPU.
14,6 mil1,5 milPythonApache-2.0Atualizado há 17 horas
2 alternativas
Procurando uma alternativa gratuita e open source ao LM Studio? Estes 2 projetos podem substituí-lo. Cada um é revisado por uma pessoa e explicado em palavras simples, para você comparar estrelas, licença e manutenção num relance.
| Projeto | Estrelas | Licença | Último commit |
|---|---|---|---|
| FlashML-org/FreeToken | ★ 14,6 mil | Apache-2.0 | há 17 horas |
| drumih/turbo-fieldfare | ★ 6,9 mil | Apache-2.0 | há 4 dias |
Um mecanismo de serving de MoE nativo para edge que executa modelos open-weight grandes, como DeepSeek-V4 e Qwen3.6, em GPUs de consumo, dividindo o trabalho entre a memória da GPU e a da CPU.
Runtime em Swift e Metal que executa o Gemma 4 26B-A4B em Macs com Apple Silicon usando cerca de 2 GB de RAM, transmitindo os experts do SSD.