eagle-hq/EAGLE-4

这是什么？

核心功能

• 01为 Qwen3.8-27B 提供基于 EAGLE-4 草稿的投机解码
• 02通过引擎插件支持 SGLang、vLLM 及实验性的 TokenSpeed
• 03根据实测的草稿与验证成本自适应调整投机树
• 04提供 NVIDIA B300 和 AMD MI355X 的固定版本 wheel 与容器镜像
• 05内置环境检查命令 eagle-harness-check

适用场景

• 在多卡 NVIDIA B300 节点上部署 Qwen3.8-27B 时降低单 token 延迟
• 提升单请求或低并发 vLLM 部署的吞吐量
• 在 AMD MI355X 上使用 SGLang 运行 EAGLE-4 草稿
• 将投机解码与无投机解码的基线进行性能对比

快速上手

1. 1

   克隆仓库

   git clone https://github.com/eagle-hq/EAGLE-4
2. 2

   加载发布设置文件中的版本号

   . EAGLE-4/docs/release.env
3. 3

   安装打过补丁的 SGLang 引擎（CUDA）

   python -m pip install --extra-index-url "$EAGLE_CUDA_INDEX" --extra-index-url "$EAGLE_TORCH_CUDA_INDEX" "sglang==$EAGLE_SGLANG_VERSION" 'flashinfer-python>=0.7.2'
4. 4

   从 PyPI 安装 eagle-harness 并运行检查

   python -m pip install "eagle-harness==$EAGLE_VERSION"

使用前须知

• !该许可证为源码可用许可，并非 OSI 认可的开源许可。
• !将其用于竞争性产品的商业用途需要单独的书面许可，其他商业用途也受收入门槛限制。
• !已发布的配置针对 NVIDIA B300 或 AMD MI355X GPU，主要示例使用四块 GPU。
• !TokenSpeed 支持仍处于实验阶段，且仅限 CUDA。

标签

常见问题

EAGLE-4 是什么？

EAGLE-4 的推理代码，通过投机解码为 SGLang、vLLM 和 TokenSpeed 上的大模型推理提速。 EAGLE-4 是一套用于加速大语言模型推理的投机解码系统。小型草稿模型先提出候选 token，再由目标模型进行验证，目标是保持目标模型原有的输出分布。草稿会根据 batch size、硬件和负载调整投机树的结构。

EAGLE-4 可以免费使用吗？用的什么许可证？

EAGLE-4 以 Other 许可证开源。用于商业产品前，请先确认许可证条款。

EAGLE-4 还在维护吗？

活跃维护中。EAGLE-4 最近一次提交是在 2026年10月20日。

EAGLE-4 适合用来做什么？

在多卡 NVIDIA B300 节点上部署 Qwen3.8-27B 时降低单 token 延迟 提升单请求或低并发 vLLM 部署的吞吐量 在 AMD MI355X 上使用 SGLang 运行 EAGLE-4 草稿 将投机解码与无投机解码的基线进行性能对比

EAGLE-4 怎么安装和运行？

克隆仓库: git clone https://github.com/eagle-hq/EAGLE-4 加载发布设置文件中的版本号: . EAGLE-4/docs/release.env 安装打过补丁的 SGLang 引擎（CUDA）: python -m pip install --extra-index-url "$EAGLE_CUDA_INDEX" --extra-index-url "$EAGLE_TORCH_CUDA_INDEX" "sglang==$EAGLE_SGLANG_VERSION" 'flashinfer-python>=0.7.2' 从 PyPI 安装 eagle-harness 并运行检查: python -m pip install "eagle-harness==$EAGLE_VERSION"

在哪里获取 EAGLE-4？

源代码和安装说明在 GitHub 上：https://github.com/eagle-hq/EAGLE-4