面向 MoE 专家并行的 GPU 通信库,提供 dispatch 与 combine 所需的高吞吐、低延迟 all-to-all 内核。
1万1481CudaMIT更新于 4天前
语言
使用 Cuda 编写的精选开源项目,按 Star 排序,附 AI 中文概要与许可证信息。
面向 MoE 专家并行的 GPU 通信库,提供 dispatch 与 combine 所需的高吞吐、低延迟 all-to-all 内核。
开源 CUDA 学习笔记与代码合集,包含 200 多个内核,涵盖 HGEMM、FP8/FP4 GEMM 与 Flash-Attention。