纯 C 推理引擎，通过从磁盘按需读取专家网络，在普通硬件上运行超大混合专家（MoE）模型。
4.3万4774CApache-2.0更新于 10小时前
- Star
- 14,575
- Fork
- 1,468
- 未关闭 Issue
- 436
- 最近提交
- 16小时前
这是什么？
FreeToken 是一个边缘端 MoE 推理引擎，用于在游戏电脑、笔记本等个人硬件上运行超大规模的混合专家模型。它把 GPU、CPU、内存和互联资源当作统一的推理资源池，通过带宽自适应的 CPU-GPU 协同执行、分层双缓冲预填充流式加载以及全局 LRU 专家缓存来提升效率。
引擎支持 DeepSeek-V4-Flash、Qwen3.6-35B-A3B、GLM-5.2 等开源模型，并支持 MXFP4、NVFP4、FP8、BF16 等量化格式。它提供兼容 Anthropic 和 OpenAI 的 API，可以让 Codex、Claude Code、OpenCode 等编程和工具调用智能体直接连接本地模型。
在缓存方面，FreeToken 为循环状态和 KV 缓存提供语义锚点检查点，使工具调用、思考块等上下文编辑无需重复计算。运行时还能在专家缓存与 KV 内存之间动态调整显存分配，无需重启引擎。项目提供 Windows 和 Linux 桌面应用，也可通过 pip 安装命令行工具，原生支持 NVIDIA RTX 30、40、50 系列显卡。
核心功能
- 01通过 CPU-GPU 协同执行和专家缓存，在消费级显卡上运行大型 MoE 模型。
- 02支持 MXFP4、NVFP4、FP8、BF16 等量化格式。
- 03提供兼容 Anthropic 和 OpenAI 的 API，便于编程和工具调用智能体接入。
- 04无需重启引擎即可在专家缓存与 KV 内存之间动态分配显存。
- 05提供 Windows 和 Linux 桌面应用，并支持通过 pip 安装命令行工具。
适用场景
- 在游戏电脑或工作站显卡上本地运行前沿开源 MoE 模型。
- 将本地模型接入 Claude Code、Codex 等编程智能体。
- 在不依赖云端推理、数据不外传的前提下试验大模型。
标签
常见问题
- FreeToken 是什么？
- 面向消费级硬件的边缘端 MoE 推理引擎，通过 GPU 与 CPU 协同运行超大开源模型。 FreeToken 是一个边缘端 MoE 推理引擎，用于在游戏电脑、笔记本等个人硬件上运行超大规模的混合专家模型。它把 GPU、CPU、内存和互联资源当作统一的推理资源池，通过带宽自适应的 CPU-GPU 协同执行、分层双缓冲预填充流式加载以及全局 LRU 专家缓存来提升效率。
- FreeToken 可以免费使用吗？用的什么许可证？
- FreeToken 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
- FreeToken 还在维护吗？
- 活跃维护中。FreeToken 最近一次提交是在 2026年10月18日。
- FreeToken 适合用来做什么？
- 在游戏电脑或工作站显卡上本地运行前沿开源 MoE 模型。 将本地模型接入 Claude Code、Codex 等编程智能体。 在不依赖云端推理、数据不外传的前提下试验大模型。
- 在哪里获取 FreeToken？
- 源代码和安装说明在 GitHub 上：https://github.com/FlashML-org/FreeToken
概要由 AI 根据项目 README 生成；GitHub 数据每日更新。
相关项目
在消费级 NVIDIA 或 AMD 显卡电脑上运行 Qwen3.8-Flash-Next 大模型，并提供本地 OpenAI/Anthropic 兼容接口。
2.7万2899C++MIT更新于 前天
本地模型网关，让 Claude Code、Codex、OpenCode 等编程智能体共用一个端点，并在多个模型服务商之间路由请求。
3.8万3167TypeScriptMIT更新于 9天前
一款基于 OpenGL 渲染、跨平台的终端模拟器，默认设置合理，并可通过 TOML 文件深度配置。
6.6万3654RustApache-2.0更新于 3天前
一个运行在自有设备上、通过 WhatsApp、Telegram、Slack、Discord 等聊天应用响应你的个人 AI 助手。
39.2万8.2万TypeScriptMIT更新于 10小时前
一套为编码智能体设计的可组合技能库与软件开发方法论，引导 agent 完成设计、规划、TDD 与子代理开发。
30.2万2.7万ShellMIT更新于 9天前