面向大模型分布式训练与推理的深度学习优化库，提升效率并降低使用门槛。
4.3万+25 本周5064PythonApache-2.0更新于 17小时前
microsoft/Tutel
微软开源的 MoE（混合专家）优化库，基于 PyTorch 训练和推理 MoE 模型，支持 DeepSeek、Qwen、GLM 等模型的低精度推理。
- Star
- 1,029
- Fork
- 111
- 未关闭 Issue
- 55
- 最近提交
- 3天前
这是什么？
Tutel 是基于 PyTorch 的 MoE（混合专家）库，提供经过优化的 MoE 层，负责专家路由（gating）、数据分发以及多 GPU 之间的 all-to-all 通信。并行方式、稀疏度和容量等配置可以在运行时动态切换，无需重启训练。
项目还包含面向大型 MoE 模型的推理方案。据项目说明，它可在 NVIDIA A100/H100 和 AMD MI300 上直接加载 NVFP4、MXFP4 及分块 FP8 权重，支持 DeepSeek、Kimi、GLM、Qwen3、GPT-OSS 等模型。以 Docker 镜像形式提供，并带有兼容 OpenAI 接口的服务端和 Open-WebUI 页面。
近期版本新增了 Qwen3 与 DeepSeek V3/R1 的快速 MoE 门控算子、支持变长消息的 NCCL all-to-all 接口，以及单卡解码的 Megablocks 路径。
核心功能
- 01运行时动态切换并行方式、容量因子和 top-k 稀疏度
- 02内置 FFN 专家，并支持自定义门控与专家层
- 03提供 all-to-all 通信，大规模场景可启用 2DH 模式
- 04支持 NVFP4、MXFP4 和分块 FP8 格式的 MoE 模型低精度推理
- 05以 Docker 镜像提供兼容 OpenAI 接口的服务，适配 NVIDIA 与 AMD GPU
适用场景
- 在多 GPU 环境下为 PyTorch 模型构建或训练 MoE 层
- 在 A100、H100 或 MI300 上部署 DeepSeek、Qwen3 等大型开源 MoE 模型
- 在 GPU 集群上测试 all-to-all 带宽和 MoE 吞吐
收录于专题
标签
常见问题
- Tutel 是什么？
- 微软开源的 MoE（混合专家）优化库，基于 PyTorch 训练和推理 MoE 模型，支持 DeepSeek、Qwen、GLM 等模型的低精度推理。 Tutel 是基于 PyTorch 的 MoE（混合专家）库，提供经过优化的 MoE 层，负责专家路由（gating）、数据分发以及多 GPU 之间的 all-to-all 通信。并行方式、稀疏度和容量等配置可以在运行时动态切换，无需重启训练。
- Tutel 可以免费使用吗？用的什么许可证？
- Tutel 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。
- Tutel 还在维护吗？
- 活跃维护中。Tutel 最近一次提交是在 2026年11月4日。
- Tutel 适合用来做什么？
- 在多 GPU 环境下为 PyTorch 模型构建或训练 MoE 层 在 A100、H100 或 MI300 上部署 DeepSeek、Qwen3 等大型开源 MoE 模型 在 GPU 集群上测试 all-to-all 带宽和 MoE 吞吐
- 在哪里获取 Tutel？
- 源代码和安装说明在 GitHub 上：https://github.com/microsoft/Tutel
概要由 AI 根据项目 README 生成；GitHub 数据每日更新。
相关项目
基于 PyTorch 和 Triton 的开源大语言模型训练库，支持 3D 并行与 ZeRO 显存优化。
33953PythonOther更新于 23天前
基于 PyTorch 的大模型分布式训练与推理系统，提供并行策略和显存优化等能力。
4.1万4486PythonApache-2.0更新于 昨天
基于 PyTorch 的深度学习框架，自动处理训练循环、多 GPU 扩展等工程代码，同时保留模型逻辑的完全控制。
3.1万+12 本周3849PythonApache-2.0更新于 8天前
基于 PyTorch DTensor 的训练库，可直接加载 Hugging Face 模型进行 LLM、VLM 等的微调与预训练。
1078+3 本周369PythonApache-2.0更新于 16小时前
NVIDIA 维护的 PyTorch 扩展，提供混合精度与分布式训练工具及可选的融合 CUDA/C++ 内核。
89991532PythonBSD-3-Clause更新于 5天前