Repolode
Enviar
microsoft

microsoft/Tutel

Biblioteca otimizada de Mixture-of-Experts da Microsoft para treinar e servir modelos MoE em PyTorch, com inferência de baixa precisão para modelos como DeepSeek, Qwen e GLM.

Ver no GitHub
Estrelas
1,029
Forks
111
Issues abertas
55
Último commit
anteontem

O que é?

Tutel é uma biblioteca de Mixture-of-Experts (MoE) desenvolvida com base em PyTorch. Ela oferece uma camada MoE otimizada que gerencia o roteamento de especialistas (gating), a distribuição de dados e a comunicação all-to-all entre GPUs, além de permitir alterar configurações de paralelismo, esparsidade e capacidade em tempo de execução, sem reiniciar o treinamento.

O projeto também inclui uma stack de inferência para checkpoints grandes de MoE. O README descreve como servir diretamente pesos NVFP4, MXFP4 e FP8 em blocos para modelos como DeepSeek, Kimi, GLM, Qwen3 e GPT-OSS em GPUs NVIDIA A100/H100 e AMD MI300. A solução é distribuída em imagens Docker com um endpoint compatível com OpenAI e uma interface Open-WebUI.

Versões recentes adicionam kernels rápidos de gating MoE para Qwen3 e DeepSeek V3/R1, variantes de all-to-all do NCCL para transferências de tamanho variável e um caminho Megablocks para decodificação em uma única GPU.

Recursos principais

  • 01Alteração dinâmica, em tempo de execução, do paralelismo, da capacidade e da esparsidade top-k
  • 02Camada MoE otimizada com especialistas FFN integrados e suporte a gates e especialistas personalizados
  • 03Comunicação all-to-all com modo 2DH opcional para execuções em larga escala
  • 04Inferência de baixa precisão para checkpoints MoE em NVFP4, MXFP4 e FP8 em blocos
  • 05Serviço compatível com OpenAI em imagens Docker para GPUs NVIDIA e AMD

Casos de uso

  • Criar ou treinar camadas MoE em um modelo PyTorch distribuído por várias GPUs
  • Servir grandes modelos MoE de pesos abertos, como DeepSeek ou Qwen3, em hardware A100, H100 ou MI300
  • Avaliar a largura de banda all-to-all e o throughput de MoE em um cluster de GPUs

Em coleções

Treine e execute IA em GPUs

Tópicos

#mixture-of-experts#moe#pytorch#llm#deep-learning#distributed-training#inference#gpu#deepseek

Perguntas frequentes

O que é Tutel?
Biblioteca otimizada de Mixture-of-Experts da Microsoft para treinar e servir modelos MoE em PyTorch, com inferência de baixa precisão para modelos como DeepSeek, Qwen e GLM. Tutel é uma biblioteca de Mixture-of-Experts (MoE) desenvolvida com base em PyTorch. Ela oferece uma camada MoE otimizada que gerencia o roteamento de especialistas (gating), a distribuição de dados e a comunicação all-to-all entre GPUs, além de permitir alterar configurações de paralelismo, esparsidade e capacidade em tempo de execução, sem reiniciar o treinamento.
Tutel é gratuito? Qual é a licença?
Tutel é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
Tutel ainda é mantido?
Manutenção ativa. O último commit de Tutel foi em 4 de nov. de 2026.
Para que posso usar Tutel?
Criar ou treinar camadas MoE em um modelo PyTorch distribuído por várias GPUs Servir grandes modelos MoE de pesos abertos, como DeepSeek ou Qwen3, em hardware A100, H100 ou MI300 Avaliar a largura de banda all-to-all e o throughput de MoE em um cluster de GPUs
Onde consigo Tutel?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/microsoft/Tutel

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados