xlite-dev/LeetCUDA

¿Qué es?

Funciones clave

• 01Más de 200 kernels CUDA, desde operaciones elemento a elemento hasta atención de nivel Hard++
• 02Implementaciones de HGEMM con WMMA, MMA PTX y CuTe, con benchmarks comparativos frente a cuBLAS
• 03Variantes de FlashAttention-2 basadas en Tensor Cores y que usan únicamente MMA PTX
• 04Kernels para los tipos de datos BF16, FP8 y FP4
• 05Ejemplos de Triton y CUTLASS/CuTe junto con código CUDA sin abstraer
• 06Cada kernel incluye bindings de Python para PyTorch y pruebas

Casos de uso

• Aprender programación de kernels CUDA paso a paso, desde los conceptos básicos hasta los avanzados
• Estudiar la multiplicación de matrices con Tensor Cores y las implementaciones de FlashAttention
• Comparar el rendimiento de kernels personalizados de GEMM o atención con cuBLAS o SDPA
• Proporcionar a un agente de programación ejemplos de referencia de CUDA mediante la skill incluida

Inicio rápido

1. 1

   Clona el repositorio e inicializa los submódulos

   git clone https://github.com/xlite-dev/LeetCUDA.git && cd LeetCUDA
2. 2

   Actualiza los submódulos y entra en el directorio interview kernels

   git submodule update --init --recursive --force && cd kernels/interview
3. 3

   Instala las versiones más recientes de cuBLAS y cuDNN para los benchmarks (sustituye las versiones antiguas como se indica en el README)

   apt install -y cublas-cuda-13 cudnn9-cuda-13 && apt install -y ccache
4. 4

   Compila para GPU Blackwell y ejecuta el benchmark

   ./build.sh --arch sm_120a && ./bin/leetcuda_bench_sm120a.bin --bench

Antes de usarlo

• !Los benchmarks requieren una GPU NVIDIA con CUDA toolkit y versiones recientes de cuBLAS/cuDNN.
• !El ejemplo de compilación de inicio rápido está orientado a Blackwell (sm_120a); otras arquitecturas necesitan flags de compilación distintos.

Temas

Preguntas frecuentes

¿Qué es LeetCUDA?

Libro y colección de código de código abierto con apuntes actuales para aprender CUDA y más de 200 kernels de HGEMM, GEMM con FP8/FP4 y Flash-Attention. LeetCUDA es un recurso de aprendizaje para escribir kernels de GPU en CUDA, organizado como un libro de código abierto acompañado de un repositorio de código. Guía al lector desde kernels sencillos de operaciones elemento a elemento y reducción hasta multiplicación de matrices y atención. Cada tema sigue el mismo flujo de trabajo: implementación de un kernel CUDA, bindings de Python para PyTorch y pruebas.

¿LeetCUDA es gratuito? ¿Qué licencia tiene?

LeetCUDA es open source bajo la licencia GPL-3.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.

¿LeetCUDA sigue mantenido?

Mantenimiento activo. El último commit de LeetCUDA fue el 20 oct 2026.

¿Para qué puedo usar LeetCUDA?

Aprender programación de kernels CUDA paso a paso, desde los conceptos básicos hasta los avanzados Estudiar la multiplicación de matrices con Tensor Cores y las implementaciones de FlashAttention Comparar el rendimiento de kernels personalizados de GEMM o atención con cuBLAS o SDPA Proporcionar a un agente de programación ejemplos de referencia de CUDA mediante la skill incluida

¿Cómo se instala LeetCUDA?

Clona el repositorio e inicializa los submódulos: git clone https://github.com/xlite-dev/LeetCUDA.git && cd LeetCUDA Actualiza los submódulos y entra en el directorio interview kernels: git submodule update --init --recursive --force && cd kernels/interview Instala las versiones más recientes de cuBLAS y cuDNN para los benchmarks (sustituye las versiones antiguas como se indica en el README): apt install -y cublas-cuda-13 cudnn9-cuda-13 && apt install -y ccache Compila para GPU Blackwell y ejecuta el benchmark: ./build.sh --arch sm_120a && ./bin/leetcuda_bench_sm120a.bin --bench

¿Dónde consigo LeetCUDA?

El código fuente y las instrucciones de instalación están en GitHub: https://github.com/xlite-dev/LeetCUDA