vllm-project/speculators

これは何？

主な機能

• 01vLLMでhidden statesを生成し、ドラフトモデルの学習用にディスクへ保存します。
• 02MoEモデルやvision-languageモデルを含む、単層・多層のドラフトモデルを学習します。
• 03speculatorを、拡張可能なHugging Face互換形式で保存します。
• 04外部の研究リポジトリにあるドラフトモデルを標準形式に変換します。
• 05学習済みのspeculatorを`vllm serve`でvLLMに直接デプロイします。
• 06EAGLE-3、DFlash、DSpark、P-EAGLEの学習アルゴリズムに対応します。

ユースケース

• 対応するドラフトモデルを学習し、vLLMで大規模LLMのサービングを高速化する。
• 本番環境のワークロードにより適合させるため、ドメイン固有のデータでドラフトモデルを学習する。
• Qwen3-Nextなどのモデルが備えるネイティブのMTPヘッドをファインチューニングする。
• GuideLLMでspeculative decodingの構成をベンチマークする。

クイックスタート

1. 1

   PyPIからインストールする

   pip install speculators
2. 2

   インストールを確認する

   speculators --version
3. 3

   vLLMで学習済みのspeculatorモデルをサーブする

   vllm serve RedHatAI/Qwen3-8B-speculator.eagle3

使う前に知っておきたいこと

• !LinuxまたはmacOSとPython 3.11以降が必要です。
• !speculatorモデルをサーブして実行するにはvLLMが必要ですが、READMEにはインストール手順が記載されていません。

収録されている特集

トピック

よくある質問

speculators とは？

vLLM推論エンジンに直接デプロイできる、speculative decoding用ドラフトモデルを学習するPythonライブラリです。 Speculatorsは、vLLMなどのLLM推論エンジンで直接動作するspeculative decoding用ドラフトモデルを学習するライブラリです。speculative decodingでは、小型のドラフトモデルが複数のトークンを提案し、大型のベースモデルが1回のforward passでまとめて検証することで、生成を高速化します。採用されたトークンはベースモデルが生成した場合と一致するため、出力品質は変わりません。

speculators は無料で使えますか？ライセンスは？

speculators は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

speculators は今もメンテナンスされていますか？

活発にメンテナンス中。speculators の最終コミットは 2026年10月23日 です。

speculators は何に使えますか？

対応するドラフトモデルを学習し、vLLMで大規模LLMのサービングを高速化する。 本番環境のワークロードにより適合させるため、ドメイン固有のデータでドラフトモデルを学習する。 Qwen3-Nextなどのモデルが備えるネイティブのMTPヘッドをファインチューニングする。 GuideLLMでspeculative decodingの構成をベンチマークする。

speculators のインストール方法は？

PyPIからインストールする: pip install speculators インストールを確認する: speculators --version vLLMで学習済みのspeculatorモデルをサーブする: vllm serve RedHatAI/Qwen3-8B-speculator.eagle3

speculators はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/vllm-project/speculators