vllm-project/speculators

这是什么？

核心功能

• 01借助 vLLM 生成隐藏状态并保存到磁盘，用于草稿模型训练。
• 02支持单层与多层草稿模型训练，涵盖 MoE 和视觉语言模型。
• 03采用兼容 Hugging Face 的可扩展格式存储 speculator。
• 04可将外部研究仓库中的草稿模型转换为标准格式。
• 05训练结果可通过 `vllm serve` 直接在 vLLM 中部署。
• 06支持 EAGLE-3、DFlash、DSpark 和 P-EAGLE 等训练算法。

适用场景

• 为大模型训练匹配的草稿模型，在 vLLM 中加速推理服务。
• 基于特定领域数据训练草稿模型，使其更贴合生产负载。
• 对 Qwen3-Next 等模型原生的 MTP 头进行微调。
• 结合 GuideLLM 对不同推测解码配置进行基准测试。

快速上手

1. 1

   从 PyPI 安装

   pip install speculators
2. 2

   验证安装

   speculators --version
3. 3

   使用 vLLM 启动已训练的推测器模型

   vllm serve RedHatAI/Qwen3-8B-speculator.eagle3

使用前须知

• !需要 Linux 或 macOS 系统，并且 Python 版本为 3.11 或更高。
• !运行推测器模型需要 vLLM，README 并未提供其安装步骤。

收录于专题

标签

常见问题

speculators 是什么？

用于训练推测解码草稿模型、可直接部署到 vLLM 推理引擎的 Python 库。 Speculators 是一个用于训练推测解码（speculative decoding）草稿模型的库，训练出的模型可直接在 vLLM 等 LLM 推理引擎中运行。推测解码让一个较小、较快的草稿模型先提出若干 token，再由大模型一次前向计算统一验证，被接受的 token 与大模型自行生成的结果一致，因此输出质量不受影响。

speculators 可以免费使用吗？用的什么许可证？

speculators 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

speculators 还在维护吗？

活跃维护中。speculators 最近一次提交是在 2026年10月23日。

speculators 适合用来做什么？

为大模型训练匹配的草稿模型，在 vLLM 中加速推理服务。 基于特定领域数据训练草稿模型，使其更贴合生产负载。 对 Qwen3-Next 等模型原生的 MTP 头进行微调。 结合 GuideLLM 对不同推测解码配置进行基准测试。

speculators 怎么安装和运行？

从 PyPI 安装: pip install speculators 验证安装: speculators --version 使用 vLLM 启动已训练的推测器模型: vllm serve RedHatAI/Qwen3-8B-speculator.eagle3

在哪里获取 speculators？

源代码和安装说明在 GitHub 上：https://github.com/vllm-project/speculators