Repolode
投稿する
microsoft

microsoft/Tutel

Microsoftが開発したPyTorch向けの最適化Mixture-of-Expertsライブラリ。MoEモデルの学習・サービングに加え、DeepSeek、Qwen、GLMなどのモデルを低精度で推論できます。

GitHub で見る
スター
1,028
フォーク
111
未解決の Issue
55
最終コミット
昨日

これは何？

TutelはPyTorchを基盤とするMixture-of-Experts（MoE）ライブラリです。エキスパートのルーティング（ゲーティング）、データのディスパッチ、GPU間のall-to-all通信を処理する最適化MoEレイヤーを提供し、学習を再起動することなく、並列化、スパース性、容量の設定を実行時に切り替えられます。

大規模なMoEチェックポイント向けの推論スタックも含まれています。READMEでは、DeepSeek、Kimi、GLM、Qwen3、GPT-OSSなどのモデルで、NVFP4、MXFP4、ブロック単位のFP8重みをNVIDIA A100/H100およびAMD MI300 GPU上で直接サービングできると説明されています。OpenAI互換エンドポイントとOpen-WebUIフロントエンドを備えたDockerイメージとして提供されます。

最近のリリースでは、Qwen3とDeepSeek V3/R1向けの高速MoEゲーティングカーネル、可変長転送に対応したNCCL all-to-allの各種実装、単一GPUでのデコード向けMegablocksパスが追加されています。

主な機能

  • 01並列化、容量、top-kスパース性を実行時に動的に切り替え
  • 02FFNエキスパートを組み込み、カスタムのゲートやエキスパートにも対応する最適化MoEレイヤー
  • 03大規模実行向けのオプションの2DHモードを備えたall-to-all通信
  • 04NVFP4、MXFP4、ブロック単位のFP8 MoEチェックポイント向け低精度推論
  • 05NVIDIAおよびAMD GPU向けのDockerイメージによるOpenAI互換サービング

ユースケース

  • 複数GPUにまたがるPyTorchモデルでMoEレイヤーを構築・学習
  • A100、H100、MI300上でDeepSeekやQwen3などの大規模オープンウェイトMoEモデルをサービング
  • GPUクラスターでall-to-all帯域幅とMoEスループットをベンチマーク

収録されている特集

GPU で AI を学習・実行するツール

トピック

#mixture-of-experts#moe#pytorch#llm#deep-learning#distributed-training#inference#gpu#deepseek

よくある質問

Tutel とは？
Microsoftが開発したPyTorch向けの最適化Mixture-of-Expertsライブラリ。MoEモデルの学習・サービングに加え、DeepSeek、Qwen、GLMなどのモデルを低精度で推論できます。 TutelはPyTorchを基盤とするMixture-of-Experts（MoE）ライブラリです。エキスパートのルーティング（ゲーティング）、データのディスパッチ、GPU間のall-to-all通信を処理する最適化MoEレイヤーを提供し、学習を再起動することなく、並列化、スパース性、容量の設定を実行時に切り替えられます。
Tutel は無料で使えますか？ライセンスは？
Tutel は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
Tutel は今もメンテナンスされていますか？
活発にメンテナンス中。Tutel の最終コミットは 2026年11月6日 です。
Tutel は何に使えますか？
複数GPUにまたがるPyTorchモデルでMoEレイヤーを構築・学習 A100、H100、MI300上でDeepSeekやQwen3などの大規模オープンウェイトMoEモデルをサービング GPUクラスターでall-to-all帯域幅とMoEスループットをベンチマーク
Tutel はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/microsoft/Tutel

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト