Repolode
Enviar
FlashML-org

FlashML-org/FreeToken

Um mecanismo de serving de MoE nativo para edge que executa modelos open-weight grandes, como DeepSeek-V4 e Qwen3.6, em GPUs de consumo, dividindo o trabalho entre a memória da GPU e a da CPU.

Alternativa open source a:LM Studio

Ver no GitHubSite
Estrelas
14,575
Forks
1,468
Issues abertas
436
Último commit
há 12 horas

O que é?

FreeToken é um mecanismo de serving para executar modelos Mixture-of-Experts de escala de ponta em hardware pessoal, como PCs gamer e notebooks. Ele coordena GPUs, CPUs, memória do sistema e interconexões como um único pool de inferência, usando coexecução CPU-GPU adaptada à largura de banda, prefill em streaming e um cache LRU global para experts.

O mecanismo é voltado a modelos como DeepSeek-V4-Flash, Qwen3.6-35B-A3B e GLM-5.2, com suporte às quantizações MXFP4, NVFP4, FP8 e BF16. Ele oferece APIs compatíveis com Anthropic e OpenAI para conectar agentes de programação e chamadas de ferramentas, como Codex, Claude Code e OpenCode, a modelos locais.

FreeToken também oferece checkpoints de âncora semântica para estados recorrentes e caches KV, permitindo que edições de contexto em fluxos agentic evitem recalcular o contexto anterior; além disso, pode realocar VRAM entre o cache de experts e a memória KV durante a execução. O projeto oferece um aplicativo para desktop no Windows e Linux e uma CLI instalável via pip, com suporte nativo a GPUs NVIDIA RTX das séries 30, 40 e 50.

Recursos principais

  • 01Executa modelos MoE grandes em GPUs de consumo com coexecução CPU-GPU e cache de experts.
  • 02Oferece suporte a formatos quantizados, incluindo MXFP4, NVFP4, FP8 e BF16.
  • 03Disponibiliza APIs compatíveis com Anthropic e OpenAI para agentes de programação e chamadas de ferramentas.
  • 04Realoca VRAM entre o cache de experts e a memória KV sem reiniciar o mecanismo.
  • 05Inclui uma interface gráfica para desktop no Windows e Linux, além de uma CLI instalável via pip.

Casos de uso

  • Executar localmente modelos MoE open-weight de ponta em um PC gamer ou em uma GPU de workstation.
  • Conectar modelos locais a agentes de programação, como Claude Code ou Codex.
  • Testar modelos grandes sem custos de inferência na nuvem nem enviar dados para fora da máquina.

Tópicos

#moe#llm-inference#edge-ai#local-llm#quantization#gpu#openai-compatible#deepseek-v4#edge#glm

Perguntas frequentes

O que é FreeToken?
Um mecanismo de serving de MoE nativo para edge que executa modelos open-weight grandes, como DeepSeek-V4 e Qwen3.6, em GPUs de consumo, dividindo o trabalho entre a memória da GPU e a da CPU. FreeToken é um mecanismo de serving para executar modelos Mixture-of-Experts de escala de ponta em hardware pessoal, como PCs gamer e notebooks. Ele coordena GPUs, CPUs, memória do sistema e interconexões como um único pool de inferência, usando coexecução CPU-GPU adaptada à largura de banda, prefill em streaming e um cache LRU global para experts.
FreeToken é gratuito? Qual é a licença?
FreeToken é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
FreeToken ainda é mantido?
Manutenção ativa. O último commit de FreeToken foi em 18 de out. de 2026.
Para que posso usar FreeToken?
Executar localmente modelos MoE open-weight de ponta em um PC gamer ou em uma GPU de workstation. Conectar modelos locais a agentes de programação, como Claude Code ou Codex. Testar modelos grandes sem custos de inferência na nuvem nem enviar dados para fora da máquina.
Onde consigo FreeToken?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/FlashML-org/FreeToken

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados