Repolode
Enviar
microsoft

microsoft/Tutel

Una biblioteca optimizada de Microsoft para entrenar y servir modelos Mixture-of-Experts en PyTorch, con inferencia de baja precisión para modelos como DeepSeek, Qwen y GLM.

Ver en GitHub
Estrellas
1,029
Forks
111
Issues abiertos
55
Último commit
anteayer

¿Qué es?

Tutel es una biblioteca Mixture-of-Experts (MoE) basada en PyTorch. Ofrece una capa MoE optimizada que gestiona el enrutamiento de expertos (gating), la distribución de datos y la comunicación all-to-all entre GPU, y permite cambiar en tiempo de ejecución la configuración de paralelismo, sparsity y capacidad sin reiniciar el entrenamiento.

El proyecto también incluye una pila de inferencia para checkpoints MoE de gran tamaño. El README describe cómo servir directamente pesos NVFP4, MXFP4 y FP8 por bloques para modelos como DeepSeek, Kimi, GLM, Qwen3 y GPT-OSS en GPU NVIDIA A100/H100 y AMD MI300. Se distribuye como imágenes Docker con un endpoint compatible con OpenAI y una interfaz basada en Open-WebUI.

Las versiones recientes incorporan kernels rápidos de gating MoE para Qwen3 y DeepSeek V3/R1, variantes de all-to-all de NCCL para transferencias de longitud variable y una ruta de Megablocks para la decodificación en una sola GPU.

Funciones clave

  • 01Cambio dinámico en tiempo de ejecución del paralelismo, la capacidad y la sparsity top-k
  • 02Capa MoE optimizada con expertos FFN integrados y compatibilidad con gates y expertos personalizados
  • 03Comunicación all-to-all con modo 2DH opcional para ejecuciones a gran escala
  • 04Inferencia de baja precisión para checkpoints MoE en NVFP4, MXFP4 y FP8 por bloques
  • 05Servicio compatible con OpenAI en imágenes Docker para GPU NVIDIA y AMD

Casos de uso

  • Crear o entrenar capas MoE en un modelo PyTorch distribuido entre varias GPU
  • Servir modelos MoE de pesos abiertos de gran tamaño, como DeepSeek o Qwen3, en hardware A100, H100 o MI300
  • Evaluar el ancho de banda all-to-all y el rendimiento de MoE en un clúster de GPU

En colecciones

Entrena y ejecuta IA en GPU

Temas

#mixture-of-experts#moe#pytorch#llm#deep-learning#distributed-training#inference#gpu#deepseek

Preguntas frecuentes

¿Qué es Tutel?
Una biblioteca optimizada de Microsoft para entrenar y servir modelos Mixture-of-Experts en PyTorch, con inferencia de baja precisión para modelos como DeepSeek, Qwen y GLM. Tutel es una biblioteca Mixture-of-Experts (MoE) basada en PyTorch. Ofrece una capa MoE optimizada que gestiona el enrutamiento de expertos (gating), la distribución de datos y la comunicación all-to-all entre GPU, y permite cambiar en tiempo de ejecución la configuración de paralelismo, sparsity y capacidad sin reiniciar el entrenamiento.
¿Tutel es gratuito? ¿Qué licencia tiene?
Tutel es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿Tutel sigue mantenido?
Mantenimiento activo. El último commit de Tutel fue el 4 nov 2026.
¿Para qué puedo usar Tutel?
Crear o entrenar capas MoE en un modelo PyTorch distribuido entre varias GPU Servir modelos MoE de pesos abiertos de gran tamaño, como DeepSeek o Qwen3, en hardware A100, H100 o MI300 Evaluar el ancho de banda all-to-all y el rendimiento de MoE en un clúster de GPU
¿Dónde consigo Tutel?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/microsoft/Tutel

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados