Repolode
提交项目
BBuf

BBuf/how-to-optim-algorithm-in-cuda

一个收录手写 CUDA 内核、CUTLASS/CuTe、Triton 示例和 LLM 优化笔记的 GPU 学习与工程仓库。

在 GitHub 查看
Star
3,324
Fork
297
未关闭 Issue
8
最近提交
10天前

这是什么？

这是一个收录 CUDA 内核实现与 GPU 优化笔记的仓库。内容包括 reduce、softmax、elementwise、GEMV、索引、atomic add、上采样和线性注意力等常见算子的手写 CUDA 内核，统一放在 cuda-kernels 目录下。

除了内核代码，仓库还整理了 CUTLASS 与 CuTe（GEMM、TMA、WGMMA、swizzle）、带 PyTorch 互操作的 Triton 内核、PTX ISA 学习笔记，以及与 CUDA 相关的 PyTorch 内部机制资料。同时包含 CUDA-MODE 课程笔记、LLM 推理与训练优化材料和 GPU 体系结构论文笔记。

该仓库由作者作为个人学习与工程笔记持续维护。部分早期内容为中文，目前正逐步补充英文入口。

核心功能

  • 01手写 reduce、softmax、GEMV 等常见算子的 CUDA 内核。
  • 02CUTLASS 与 CuTe 笔记，涵盖 GEMM、TMA、WGMMA 和 swizzle。
  • 03带 PyTorch 互操作的 Triton 内核示例。
  • 04PTX ISA 学习笔记与 PyTorch CUDA 内部机制资料。
  • 05LLM 推理与训练优化相关笔记。

适用场景

  • 逐步学习常见 GPU 算子的 CUDA 实现方式。
  • 学习 CUTLASS/CuTe 与 Triton，用于高性能 GEMM 开发。
  • 调优 GPU 内核时查阅 PTX 层面的细节。
  • 查阅 LLM 推理优化的相关背景资料。

使用前须知

  • 未指定许可证，复用权限不明确。
  • 较早的笔记多为中文，且正在整理合并，部分内容可能不完整或前后不一致。

标签

#cuda#gpu#kernel-optimization#cutlass#triton#llm#pytorch

常见问题

how-to-optim-algorithm-in-cuda 是什么？
一个收录手写 CUDA 内核、CUTLASS/CuTe、Triton 示例和 LLM 优化笔记的 GPU 学习与工程仓库。 这是一个收录 CUDA 内核实现与 GPU 优化笔记的仓库。内容包括 reduce、softmax、elementwise、GEMV、索引、atomic add、上采样和线性注意力等常见算子的手写 CUDA 内核，统一放在 cuda-kernels 目录下。
how-to-optim-algorithm-in-cuda 可以免费使用吗？用的什么许可证？
how-to-optim-algorithm-in-cuda 没有声明许可证。代码虽然公开，但没有许可证就没有明确的使用授权，正式使用前建议先联系作者。
how-to-optim-algorithm-in-cuda 还在维护吗？
活跃维护中。how-to-optim-algorithm-in-cuda 最近一次提交是在 2026年10月11日。
how-to-optim-algorithm-in-cuda 适合用来做什么？
逐步学习常见 GPU 算子的 CUDA 实现方式。 学习 CUTLASS/CuTe 与 Triton，用于高性能 GEMM 开发。 调优 GPU 内核时查阅 PTX 层面的细节。 查阅 LLM 推理优化的相关背景资料。
在哪里获取 how-to-optim-algorithm-in-cuda？
源代码和安装说明在 GitHub 上：https://github.com/BBuf/how-to-optim-algorithm-in-cuda

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目