Repolode
BBuf

BBuf/how-to-optim-algorithm-in-cuda

직접 작성한 CUDA 커널, CUTLASS/CuTe, Triton 예제와 LLM 최적화 노트를 모은 개인 학습·엔지니어링 노트입니다.

스타
3,324
포크
297
열린 이슈
8
마지막 커밋
10일 전

어떤 프로젝트인가요?

이 저장소는 CUDA 커널 구현과 GPU 최적화 노트를 모아 둔 자료입니다. cuda-kernels 디렉터리에 정리된 reduce, softmax, elementwise 연산, GEMV, 인덱싱, atomic add, 업샘플링, linear attention 등 일반적인 연산의 커널을 직접 구현한 내용을 다룹니다.

기본 커널 외에도 CUTLASS와 CuTe(GEMM, TMA, WGMMA, swizzling), PyTorch와 연동하는 Triton 커널, PTX ISA 학습 노트, CUDA 관련 PyTorch 내부 구조 자료를 모았습니다. CUDA-MODE 강의 시리즈 노트, LLM 서빙 및 학습 최적화 자료, GPU 아키텍처 논문 요약도 포함되어 있습니다.

저자가 학습 및 엔지니어링 노트로 관리하는 저장소입니다. 오래된 자료 중 일부는 중국어로 작성되었으며, 영어 진입점을 점차 추가하고 있습니다.

핵심 기능

  • 01reduce, softmax, GEMV 및 기타 일반적인 연산을 직접 구현한 CUDA 커널입니다.
  • 02GEMM, TMA, WGMMA, swizzling을 다루는 CUTLASS 및 CuTe 노트입니다.
  • 03PyTorch 연동 Triton 커널 예제입니다.
  • 04PTX ISA 학습 노트와 PyTorch CUDA 내부 구조 자료입니다.
  • 05LLM 추론 및 학습 최적화 노트입니다.

활용 사례

  • 일반적인 GPU 연산자가 CUDA에서 단계별로 어떻게 구현되는지 학습할 때 유용합니다.
  • 고성능 GEMM 작업을 위해 CUTLASS/CuTe와 Triton을 학습할 때 활용할 수 있습니다.
  • GPU 커널을 튜닝할 때 PTX 수준의 세부 사항을 살펴볼 수 있습니다.
  • LLM 추론 최적화의 배경 자료를 찾아볼 수 있습니다.

사용 전 알아둘 점

  • 라이선스가 명시되어 있지 않아 재사용 권한이 불분명합니다.
  • 이전 메모는 대부분 중국어로 작성되었으며 현재 통합 중이므로 일부 내용이 불완전하거나 일관되지 않을 수 있습니다.

토픽

자주 묻는 질문

how-to-optim-algorithm-in-cuda은(는) 무엇인가요?
직접 작성한 CUDA 커널, CUTLASS/CuTe, Triton 예제와 LLM 최적화 노트를 모은 개인 학습·엔지니어링 노트입니다. 이 저장소는 CUDA 커널 구현과 GPU 최적화 노트를 모아 둔 자료입니다. cuda-kernels 디렉터리에 정리된 reduce, softmax, elementwise 연산, GEMV, 인덱싱, atomic add, 업샘플링, linear attention 등 일반적인 연산의 커널을 직접 구현한 내용을 다룹니다.
how-to-optim-algorithm-in-cuda은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
how-to-optim-algorithm-in-cuda에는 명시된 라이선스가 없습니다. 코드는 공개되어 있지만 라이선스가 없으면 재사용 허가가 명확하지 않으므로, 사용 전에 작성자에게 문의하는 것이 좋습니다.
how-to-optim-algorithm-in-cuda은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. how-to-optim-algorithm-in-cuda의 마지막 커밋은 2026년 10월 11일입니다.
how-to-optim-algorithm-in-cuda은(는) 어디에 사용할 수 있나요?
일반적인 GPU 연산자가 CUDA에서 단계별로 어떻게 구현되는지 학습할 때 유용합니다. 고성능 GEMM 작업을 위해 CUTLASS/CuTe와 Triton을 학습할 때 활용할 수 있습니다. GPU 커널을 튜닝할 때 PTX 수준의 세부 사항을 살펴볼 수 있습니다. LLM 추론 최적화의 배경 자료를 찾아볼 수 있습니다.
how-to-optim-algorithm-in-cuda은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/BBuf/how-to-optim-algorithm-in-cuda

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트