Biblioteca de comunicação GPU para dispatch e combine de MoE com paralelismo de especialistas, FP8 e suporte a NVLink/RDMA para treinamento e inferência.
10,3 mil1,5 milCudaMITAtualizado há 4 dias
Linguagem
Projetos open source escritos em Cuda, ordenados por estrelas, com resumos de IA e informações de licença.
Biblioteca de comunicação GPU para dispatch e combine de MoE com paralelismo de especialistas, FP8 e suporte a NVLink/RDMA para treinamento e inferência.
Livro open source e coleção de código com anotações sobre CUDA moderno e mais de 200 kernels, cobrindo HGEMM, GEMM em FP8/FP4 e Flash-Attention.