Repolode
제출하기
microsoft

microsoft/Tutel

Microsoft가 만든 최적화된 PyTorch용 Mixture-of-Experts 라이브러리로, DeepSeek, Qwen, GLM 같은 모델의 저정밀 추론을 포함해 MoE 모델의 학습과 서빙을 지원합니다.

GitHub에서 보기
스타
1,028
포크
111
열린 이슈
55
마지막 커밋
어제

어떤 프로젝트인가요?

Tutel은 PyTorch 기반의 Mixture-of-Experts(MoE) 라이브러리입니다. 전문가 라우팅(gating), 데이터 분배, GPU 간 all-to-all 통신을 처리하는 최적화된 MoE 레이어를 제공하며, 학습을 다시 시작하지 않고도 병렬화, 희소성, 용량 설정을 런타임에 변경할 수 있습니다.

이 프로젝트에는 대규모 MoE 체크포인트를 위한 추론 스택도 포함되어 있습니다. README에 따르면 NVIDIA A100/H100 및 AMD MI300 GPU에서 DeepSeek, Kimi, GLM, Qwen3, GPT-OSS 같은 모델의 NVFP4, MXFP4, blockwise FP8 가중치를 직접 서빙할 수 있습니다. OpenAI 호환 엔드포인트와 Open-WebUI 프런트엔드가 포함된 Docker 이미지로 제공됩니다.

최근 릴리스에는 Qwen3 및 DeepSeek V3/R1용 고속 MoE 게이팅 커널, 가변 길이 전송을 위한 NCCL all-to-all 변형, 단일 GPU 디코딩을 위한 Megablocks 경로가 추가되었습니다.

핵심 기능

  • 01런타임에 병렬화, 용량, top-k 희소성 설정을 동적으로 변경
  • 02FFN 전문가가 내장된 최적화된 MoE 레이어와 사용자 지정 게이트 및 전문가 지원
  • 03대규모 실행을 위한 선택적 2DH 모드를 지원하는 all-to-all 통신
  • 04NVFP4, MXFP4, blockwise FP8 MoE 체크포인트의 저정밀 추론
  • 05NVIDIA 및 AMD GPU용 Docker 이미지에서 OpenAI 호환 서빙

활용 사례

  • 여러 GPU를 사용하는 PyTorch 모델에서 MoE 레이어를 구현하거나 학습
  • A100, H100 또는 MI300 하드웨어에서 DeepSeek나 Qwen3 같은 대규모 오픈 웨이트 MoE 모델 서빙
  • GPU 클러스터에서 all-to-all 대역폭과 MoE 처리량 벤치마킹

포함된 컬렉션

GPU로 AI를 학습하고 실행하는 도구

토픽

#mixture-of-experts#moe#pytorch#llm#deep-learning#distributed-training#inference#gpu#deepseek

자주 묻는 질문

Tutel은(는) 무엇인가요?
Microsoft가 만든 최적화된 PyTorch용 Mixture-of-Experts 라이브러리로, DeepSeek, Qwen, GLM 같은 모델의 저정밀 추론을 포함해 MoE 모델의 학습과 서빙을 지원합니다. Tutel은 PyTorch 기반의 Mixture-of-Experts(MoE) 라이브러리입니다. 전문가 라우팅(gating), 데이터 분배, GPU 간 all-to-all 통신을 처리하는 최적화된 MoE 레이어를 제공하며, 학습을 다시 시작하지 않고도 병렬화, 희소성, 용량 설정을 런타임에 변경할 수 있습니다.
Tutel은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
Tutel은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
Tutel은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. Tutel의 마지막 커밋은 2026년 11월 6일입니다.
Tutel은(는) 어디에 사용할 수 있나요?
여러 GPU를 사용하는 PyTorch 모델에서 MoE 레이어를 구현하거나 학습 A100, H100 또는 MI300 하드웨어에서 DeepSeek나 Qwen3 같은 대규모 오픈 웨이트 MoE 모델 서빙 GPU 클러스터에서 all-to-all 대역폭과 MoE 처리량 벤치마킹
Tutel은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/microsoft/Tutel

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트