FlashML-org/FreeToken

Что это?

Ключевые возможности

• 01Запускает большие MoE-модели на потребительских GPU благодаря совместным вычислениям на CPU и GPU и кэшированию экспертов.
• 02Поддерживает форматы квантования MXFP4, NVFP4, FP8 и BF16.
• 03Предоставляет API, совместимые с Anthropic и OpenAI, для агентов, которые пишут код и вызывают инструменты.
• 04Перераспределяет VRAM между кэшем экспертов и памятью KV без перезапуска движка.
• 05Включает графическое настольное приложение для Windows и Linux, а также устанавливаемый через pip CLI.

Сценарии использования

• Локальный запуск передовых MoE-моделей с открытыми весами на игровом ПК или рабочей станции с GPU.
• Подключение локальных моделей к агентам для программирования, таким как Claude Code и Codex.
• Эксперименты с большими моделями без расходов на облачный инференс и передачи данных за пределы устройства.

Быстрый старт

1. 1

   Скачайте приложение для Windows или Linux с сайта flashml.ai

2. 2

   Установите CLI с помощью uv

   uv pip install "freetoken[accel]"

Что важно знать

• !Нативная поддержка GPU заявлена только для видеокарт NVIDIA RTX серий 30, 40 и 50.
• !Приложение для компьютера доступно только для Windows и Linux.
• !Для запуска передовых моделей требуется потребительское оборудование с большим объемом памяти хоста и распределением нагрузки между GPU и CPU, поэтому производительность зависит от вашей конфигурации.

Темы

Частые вопросы

Что такое FreeToken?

Edge-native движок для MoE-моделей, который запускает большие модели с открытыми весами, такие как DeepSeek-V4 и Qwen3.6, на потребительских GPU, распределяя нагрузку между GPU и памятью CPU. FreeToken — движок для запуска Mixture-of-Experts-моделей передового уровня на личных устройствах, например игровых ПК и ноутбуках. Он объединяет GPU, CPU, оперативную память и межсоединения в общий пул для инференса, используя совместные вычисления на CPU и GPU с адаптацией к пропускной способности, потоковый prefill и глобальный LRU-кэш экспертов.

FreeToken можно использовать бесплатно? Какая у него лицензия?

FreeToken распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

FreeToken всё ещё поддерживается?

Активно поддерживается. Последний коммит в FreeToken — 18 окт. 2026 г..

Для чего можно использовать FreeToken?

Локальный запуск передовых MoE-моделей с открытыми весами на игровом ПК или рабочей станции с GPU. Подключение локальных моделей к агентам для программирования, таким как Claude Code и Codex. Эксперименты с большими моделями без расходов на облачный инференс и передачи данных за пределы устройства.

Как установить FreeToken?

Скачайте приложение для Windows или Linux с сайта flashml.ai Установите CLI с помощью uv: uv pip install "freetoken[accel]"

Где скачать FreeToken?

Исходный код и инструкции по установке — на GitHub: https://github.com/FlashML-org/FreeToken