Repolode
投稿する
eagle-hq

eagle-hq/EAGLE-4

SGLang、vLLM、TokenSpeedでのLLMサービングを高速化する、投機的デコード用ハーネスEAGLE-4の推論コード。

GitHub で見る公式サイト
スター
229
フォーク
6
未解決の Issue
0
最終コミット
11 時間前

これは何？

EAGLE-4は、大規模言語モデルの推論を高速化する投機的デコードシステムです。小さなドラフトモデルが候補トークンを提案し、ターゲットモデルがそれを検証することで、ターゲットモデルの出力分布を維持することを目指します。ドラフトは、バッチサイズ、ハードウェア、ワークロードに合わせて投機木を適応させます。

このリポジトリのeagle-harnessはpipでインストールできるパッケージです。エンジンの実行時にパッチを当てることなく、エンジンフックを通じてEAGLE-4のドラフトをSGLang、vLLM、実験的なTokenSpeedエンジンに組み込みます。パッチ適用済みのエンジンは、バージョンを固定したwheelとコンテナイメージとして配布されています。性能測定の対象は、NVIDIA B300およびAMD MI355X上でのQwen3.8-27BとそのEAGLE-4ドラフトの組み合わせです。

このプロジェクトには、インストールとサービングの手順、vLLMのコストテーブルを調整するキャリブレーションコマンド、投機的デコードを使わないベースラインとのスループットを示すサポートマトリクスが含まれています。テキストのみのリクエストに対応しており、OSI承認ライセンスではなく独自ライセンスのもとでソースコードを公開しています。

主な機能

  • 01Qwen3.8-27B向けEAGLE-4ドラフトによる投機的デコード
  • 02SGLang、vLLM、実験的なTokenSpeed向けエンジンプラグイン
  • 03ドラフトと検証にかかる実測コストに応じてサイズを調整する適応型投機木
  • 04NVIDIA B300およびAMD MI355X向けのバージョン固定wheelとコンテナイメージ
  • 05環境チェック用の組み込みコマンドeagle-harness-check

ユースケース

  • マルチGPUのNVIDIA B300ノードでQwen3.8-27Bをサービングする際のトークンあたりのレイテンシを低減する
  • 単一リクエストまたは低並行度のvLLMデプロイメントでスループットを向上させる
  • SGLangでAMD MI355X上のEAGLE-4ドラフトを実行する
  • 投機的デコードを使わない条件を対照群として、性能をベンチマークする

クイックスタート

  1. 1

    リポジトリをクローンする

    git clone https://github.com/eagle-hq/EAGLE-4
  2. 2

    リリース設定ファイルからバージョンの固定情報を読み込む

    . EAGLE-4/docs/release.env
  3. 3

    パッチ適用済みのSGLangエンジン（CUDA）をインストールする

    python -m pip install --extra-index-url "$EAGLE_CUDA_INDEX" --extra-index-url "$EAGLE_TORCH_CUDA_INDEX" "sglang==$EAGLE_SGLANG_VERSION" 'flashinfer-python>=0.7.2'
  4. 4

    PyPIからeagle-harnessをインストールしてチェックを実行する

    python -m pip install "eagle-harness==$EAGLE_VERSION"

使う前に知っておきたいこと

  • ライセンスはソース公開型であり、OSI承認のオープンソースライセンスではありません。
  • 競合する製品の商用利用には別途書面によるライセンスが必要であり、その他の商用利用にも収益の上限が設けられています。
  • 公開されているレシピはNVIDIA B300またはAMD MI355X GPUを対象としており、主なサンプルでは4基のGPUを使用します。
  • TokenSpeedのサポートは試験的なもので、CUDAに限定されています。

トピック

#llm-inference#speculative-decoding#gpu#sglang#vllm#eagle#tokenspeed

よくある質問

EAGLE-4 とは？
SGLang、vLLM、TokenSpeedでのLLMサービングを高速化する、投機的デコード用ハーネスEAGLE-4の推論コード。 EAGLE-4は、大規模言語モデルの推論を高速化する投機的デコードシステムです。小さなドラフトモデルが候補トークンを提案し、ターゲットモデルがそれを検証することで、ターゲットモデルの出力分布を維持することを目指します。ドラフトは、バッチサイズ、ハードウェア、ワークロードに合わせて投機木を適応させます。
EAGLE-4 は無料で使えますか？ライセンスは？
EAGLE-4 は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
EAGLE-4 は今もメンテナンスされていますか？
活発にメンテナンス中。EAGLE-4 の最終コミットは 2026年10月20日 です。
EAGLE-4 は何に使えますか？
マルチGPUのNVIDIA B300ノードでQwen3.8-27Bをサービングする際のトークンあたりのレイテンシを低減する 単一リクエストまたは低並行度のvLLMデプロイメントでスループットを向上させる SGLangでAMD MI355X上のEAGLE-4ドラフトを実行する 投機的デコードを使わない条件を対照群として、性能をベンチマークする
EAGLE-4 のインストール方法は？
リポジトリをクローンする: git clone https://github.com/eagle-hq/EAGLE-4 リリース設定ファイルからバージョンの固定情報を読み込む: . EAGLE-4/docs/release.env パッチ適用済みのSGLangエンジン（CUDA）をインストールする: python -m pip install --extra-index-url "$EAGLE_CUDA_INDEX" --extra-index-url "$EAGLE_TORCH_CUDA_INDEX" "sglang==$EAGLE_SGLANG_VERSION" 'flashinfer-python>=0.7.2' PyPIからeagle-harnessをインストールしてチェックを実行する: python -m pip install "eagle-harness==$EAGLE_VERSION"
EAGLE-4 はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/eagle-hq/EAGLE-4

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト