Edge0-AI/Edge0

这是什么？

核心功能

• 01按需从 SSD 流式加载专家权重，内存占用取决于激活的专家数量。
• 02训练好的预路由模块提前预测专家路由，使加载与计算重叠。
• 03Recover-LoRA 适配器可挽回大部分 int4 量化损失，且不与基座合并。
• 04在 Apple Silicon 的 macOS 上提供兼容 OpenAI 接口的服务与命令行工具。
• 05仓库内提供 macOS、iOS、Android 和 Windows 的原生引擎目录。

适用场景

• 在统一内存有限的 Mac 上运行 35B 级别的 MoE 模型。
• 在 iPhone、Android 或 Windows 电脑上尝试端侧大模型推理。
• 在 Apple Silicon 设备上为开发工具搭建本地兼容 OpenAI 接口的对话服务。
• 研究内存受限场景下的专家卸载与路由预测技术。

快速上手

1. 1

   在 python 目录中创建虚拟环境并安装 Python 包（需要 Apple Silicon 上的 macOS）

   python3.12 -m venv .venv && .venv/bin/pip install -e '.[dev,fetch]'
2. 2

   将 8B 模型（约 4.2 GB）下载到 models/edge0-8b

   .venv/bin/huggingface-cli download Edge0/Edge0-8B-A1B-preview --local-dir models/edge0-8b
3. 3

   在已下载的模型上运行快速演示

   edge0 demo models/edge0-8b

使用前须知

• !Python 框架仅支持搭载 Apple Silicon 的 macOS；CUDA 后端尚不可用。
• !发布的模型标注为预览版。
• !35B 模型检查点在磁盘上约占 23 GB。

入选 Repolode 开源周刊

• 第 3 期 · 本周：从 SSD 流式加载专家跑大 MoE，以及 Rust 毫秒级重编译

  把稀疏 MoE 的专家权重按需从 SSD 流式读入，内存只受活跃专家数量限制。一个训练过的预路由器提前一步预测路由，让加载和计算重叠。

收录于专题

标签

常见问题

Edge0 是什么？

开源流式 MoE 推理框架，通过从 SSD 按需加载专家权重，在消费级设备上运行大型稀疏 MoE 模型。 edge0 是一个面向稀疏混合专家（MoE）语言模型的流式推理框架。它不把所有专家权重常驻内存，而是按需从存储中加载专家权重，因此峰值内存取决于当前激活的专家数量，而非模型总参数量。项目提供两个已发布的模型规格：35B-A3B 和 8B-A1B，均为 4-bit 量化。

Edge0 可以免费使用吗？用的什么许可证？

Edge0 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

Edge0 还在维护吗？

活跃维护中。Edge0 最近一次提交是在 2026年11月6日。

Edge0 适合用来做什么？

在统一内存有限的 Mac 上运行 35B 级别的 MoE 模型。 在 iPhone、Android 或 Windows 电脑上尝试端侧大模型推理。 在 Apple Silicon 设备上为开发工具搭建本地兼容 OpenAI 接口的对话服务。 研究内存受限场景下的专家卸载与路由预测技术。

Edge0 怎么安装和运行？

在 python 目录中创建虚拟环境并安装 Python 包（需要 Apple Silicon 上的 macOS）: python3.12 -m venv .venv && .venv/bin/pip install -e '.[dev,fetch]' 将 8B 模型（约 4.2 GB）下载到 models/edge0-8b: .venv/bin/huggingface-cli download Edge0/Edge0-8B-A1B-preview --local-dir models/edge0-8b 在已下载的模型上运行快速演示: edge0 demo models/edge0-8b

在哪里获取 Edge0？

源代码和安装说明在 GitHub 上：https://github.com/Edge0-AI/Edge0