Repolode
Предложить
microsoft

microsoft/Tutel

Оптимизированная библиотека Microsoft для обучения и инференса MoE-моделей в PyTorch, включая низкоточный инференс моделей DeepSeek, Qwen и GLM.

Открыть на GitHub
Звёзды
1,029
Форки
111
Открытые issues
55
Последний коммит
3 дня назад

Что это?

Tutel — библиотека Mixture-of-Experts (MoE) на базе PyTorch. Она предоставляет оптимизированный MoE-слой для маршрутизации экспертов (gating), распределения данных и обмена all-to-all между GPU. Параметры параллелизма, разреженности и ёмкости можно менять во время работы без перезапуска обучения.

В проект также входит стек инференса для крупных MoE-чекпойнтов. В README описан прямой запуск моделей с весами NVFP4, MXFP4 и blockwise FP8, например DeepSeek, Kimi, GLM, Qwen3 и GPT-OSS, на GPU NVIDIA A100/H100 и AMD MI300. Решение поставляется в виде Docker-образов с совместимым с OpenAI endpoint и интерфейсом Open-WebUI.

В недавних релизах появились быстрые ядра MoE-gating для Qwen3 и DeepSeek V3/R1, варианты all-to-all на NCCL для передачи данных переменной длины и путь Megablocks для декодирования на одном GPU.

Ключевые возможности

  • 01Динамическое переключение параметров параллелизма, ёмкости и разреженности top-k во время работы
  • 02Оптимизированный MoE-слой со встроенными FFN-экспертами и поддержкой пользовательских gate/экспертов
  • 03Обмен all-to-all с опциональным режимом 2DH для крупномасштабных запусков
  • 04Низкоточный инференс MoE-чекпойнтов в форматах NVFP4, MXFP4 и blockwise FP8
  • 05Запуск сервиса с совместимым с OpenAI API в Docker-образах для GPU NVIDIA и AMD

Сценарии использования

  • Создание или обучение MoE-слоёв в модели PyTorch на нескольких GPU
  • Запуск крупных MoE-моделей с открытыми весами, таких как DeepSeek или Qwen3, на оборудовании A100, H100 или MI300
  • Бенчмаркинг пропускной способности all-to-all и производительности MoE в кластере GPU

В подборках

Обучение и запуск ИИ на GPU

Темы

#mixture-of-experts#moe#pytorch#llm#deep-learning#distributed-training#inference#gpu#deepseek

Частые вопросы

Что такое Tutel?
Оптимизированная библиотека Microsoft для обучения и инференса MoE-моделей в PyTorch, включая низкоточный инференс моделей DeepSeek, Qwen и GLM. Tutel — библиотека Mixture-of-Experts (MoE) на базе PyTorch. Она предоставляет оптимизированный MoE-слой для маршрутизации экспертов (gating), распределения данных и обмена all-to-all между GPU. Параметры параллелизма, разреженности и ёмкости можно менять во время работы без перезапуска обучения.
Tutel можно использовать бесплатно? Какая у него лицензия?
Tutel распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
Tutel всё ещё поддерживается?
Активно поддерживается. Последний коммит в Tutel — 4 нояб. 2026 г..
Для чего можно использовать Tutel?
Создание или обучение MoE-слоёв в модели PyTorch на нескольких GPU Запуск крупных MoE-моделей с открытыми весами, таких как DeepSeek или Qwen3, на оборудовании A100, H100 или MI300 Бенчмаркинг пропускной способности all-to-all и производительности MoE в кластере GPU
Где скачать Tutel?
Исходный код и инструкции по установке — на GitHub: https://github.com/microsoft/Tutel

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Lightning-AI / pytorch-lightning

Фреймворк для глубокого обучения на PyTorch: автоматизирует циклы обучения, масштабирование на несколько GPU и типовую инженерную работу, сохраняя полный контроль над кодом модели.

ИИ и машинное обучение#deep-learning#pytorch#machine-learning
31,4 тыс.+12 за неделю3,8 тыс.PythonApache-2.0Обновлён 8 дней назад