Repolode
Enviar
FlashML-org

FlashML-org/FreeToken

Un motor de inferencia MoE nativo para edge que ejecuta modelos grandes de pesos abiertos, como DeepSeek-V4 y Qwen3.6, en GPU de consumo al distribuir el trabajo entre la memoria de la GPU y la CPU.

Alternativa open source a:LM Studio

Ver en GitHubSitio web
Estrellas
14,575
Forks
1,468
Issues abiertos
436
Último commit
hace 11 horas

¿Qué es?

FreeToken es un motor de inferencia para ejecutar modelos Mixture-of-Experts de escala puntera en equipos personales, como PC para gaming y laptops. Coordina las GPU, las CPU, la memoria del sistema y las interconexiones como un único conjunto de recursos de inferencia, mediante ejecución conjunta CPU-GPU adaptada al ancho de banda, prefill en streaming y una caché LRU global para los expertos.

El motor está diseñado para modelos como DeepSeek-V4-Flash, Qwen3.6-35B-A3B y GLM-5.2, y es compatible con la cuantización MXFP4, NVFP4, FP8 y BF16. Ofrece API compatibles con Anthropic y OpenAI para que agentes de programación y de uso de herramientas, como Codex, Claude Code y OpenCode, puedan conectarse a modelos locales.

FreeToken también ofrece checkpoints de anclaje semántico para el estado recurrente y las cachés KV, de modo que las modificaciones de contexto en flujos agentic eviten recalcular el contexto previo. Además, puede reasignar VRAM entre la caché de expertos y la memoria KV durante la ejecución. Incluye una aplicación de escritorio para Windows y Linux, y una CLI instalable con pip, con compatibilidad nativa con las GPU NVIDIA RTX de las series 30, 40 y 50.

Funciones clave

  • 01Ejecuta modelos MoE grandes en GPU de consumo mediante ejecución conjunta CPU-GPU y caché de expertos.
  • 02Es compatible con formatos cuantizados como MXFP4, NVFP4, FP8 y BF16.
  • 03Ofrece API compatibles con Anthropic y OpenAI para agentes de programación y de uso de herramientas.
  • 04Reasigna VRAM entre la caché de expertos y la memoria KV sin reiniciar el motor.
  • 05Incluye una interfaz gráfica de escritorio para Windows y Linux, además de una CLI instalable con pip.

Casos de uso

  • Ejecutar localmente modelos MoE de pesos abiertos de última generación en un PC para gaming o una estación de trabajo con GPU.
  • Conectar modelos locales a agentes de programación como Claude Code o Codex.
  • Experimentar con modelos grandes sin pagar por inferencia en la nube ni enviar datos fuera del equipo.

Temas

#moe#llm-inference#edge-ai#local-llm#quantization#gpu#openai-compatible#deepseek-v4#edge#glm

Preguntas frecuentes

¿Qué es FreeToken?
Un motor de inferencia MoE nativo para edge que ejecuta modelos grandes de pesos abiertos, como DeepSeek-V4 y Qwen3.6, en GPU de consumo al distribuir el trabajo entre la memoria de la GPU y la CPU. FreeToken es un motor de inferencia para ejecutar modelos Mixture-of-Experts de escala puntera en equipos personales, como PC para gaming y laptops. Coordina las GPU, las CPU, la memoria del sistema y las interconexiones como un único conjunto de recursos de inferencia, mediante ejecución conjunta CPU-GPU adaptada al ancho de banda, prefill en streaming y una caché LRU global para los expertos.
¿FreeToken es gratuito? ¿Qué licencia tiene?
FreeToken es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿FreeToken sigue mantenido?
Mantenimiento activo. El último commit de FreeToken fue el 18 oct 2026.
¿Para qué puedo usar FreeToken?
Ejecutar localmente modelos MoE de pesos abiertos de última generación en un PC para gaming o una estación de trabajo con GPU. Conectar modelos locales a agentes de programación como Claude Code o Codex. Experimentar con modelos grandes sin pagar por inferencia en la nube ni enviar datos fuera del equipo.
¿Dónde consigo FreeToken?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/FlashML-org/FreeToken

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados