Repolode
제출하기
linkedin

linkedin/Liger-Kernel

공통 레이어와 손실 함수를 융합해 메모리 사용량을 줄이고 처리량을 높이는 LLM 학습용 고효율 Triton GPU 커널입니다.

GitHub에서 보기웹사이트
스타
6,665
포크
627
열린 이슈
197
마지막 커밋
10시간 전

어떤 프로젝트인가요?

Liger Kernel은 대규모 언어 모델 학습을 위한 Triton 커널 모음입니다. RMSNorm, RoPE, SwiGLU, CrossEntropy, fused linear cross-entropy 같은 일반적인 연산을 대체해 메모리 트래픽을 줄이고, 동일한 GPU에서 더 긴 컨텍스트 길이나 더 큰 배치 크기를 사용할 수 있게 합니다.

지원되는 Hugging Face 모델에는 apply_liger_kernel_to_llama 같은 함수를 한 번 호출해 패치하거나, 개별 커널 모듈을 조합해 자체 모델에 적용할 수 있습니다. 또한 전체 logits를 메모리에 생성하지 않는 DPO, ORPO, SimPO, KTO, CPO 등의 학습 후 손실 함수와 JSD, KL divergence 등의 증류 손실 함수도 포함합니다. PyTorch FSDP, DeepSpeed, DDP와 함께 사용할 수 있으며, 핵심 의존성은 Torch와 Triton뿐입니다.

저장소에는 Llama, Qwen, Gemma, Mistral, Phi3, DeepSeek 등 다양한 모델 계열의 지원 현황이 나와 있습니다. CUDA, ROCm, Intel GPU, Ascend NPU용 백엔드가 있으며, NVIDIA 하드웨어에서는 cuTile 및 CuTe DSL 구현을 선택적으로 사용할 수 있습니다.

핵심 기능

  • 01RMSNorm, RoPE, SwiGLU, CrossEntropy 및 fused linear cross-entropy를 위한 대체용 Triton 커널입니다.
  • 02지원되는 다양한 Hugging Face 모델 계열을 한 줄로 패치할 수 있습니다.
  • 03학습 후 단계에 사용할 수 있는 메모리 효율적인 DPO, ORPO, SimPO, KTO, CPO 손실 함수입니다.
  • 04JSD, KL divergence, TVD를 비롯한 증류 손실 함수입니다.
  • 05의존성을 최소화하면서 PyTorch FSDP, DeepSpeed, DDP와 호환됩니다.
  • 06NVIDIA CUDA, AMD ROCm, Intel GPU, Ascend NPU용 백엔드를 제공합니다.

활용 사례

  • 멀티 GPU 클러스터에서 Llama 또는 Qwen 모델의 전체 파인튜닝 속도를 높입니다.
  • 메모리 사용량을 줄여 더 긴 컨텍스트 길이나 더 큰 어휘집으로 학습합니다.
  • GPU 자원이 제한된 환경에서 DPO나 ORPO 같은 메모리 집약적인 선호도 최적화를 실행합니다.
  • 학습 파이프라인에 효율적인 증류 손실 함수를 추가합니다.

토픽

#llm-training#triton#gpu-kernels#fine-tuning#pytorch#deep-learning#memory-optimization#finetuning#gemma2#hacktoberfest

자주 묻는 질문

Liger-Kernel은(는) 무엇인가요?
공통 레이어와 손실 함수를 융합해 메모리 사용량을 줄이고 처리량을 높이는 LLM 학습용 고효율 Triton GPU 커널입니다. Liger Kernel은 대규모 언어 모델 학습을 위한 Triton 커널 모음입니다. RMSNorm, RoPE, SwiGLU, CrossEntropy, fused linear cross-entropy 같은 일반적인 연산을 대체해 메모리 트래픽을 줄이고, 동일한 GPU에서 더 긴 컨텍스트 길이나 더 큰 배치 크기를 사용할 수 있게 합니다.
Liger-Kernel은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
Liger-Kernel은(는) BSD-2-Clause 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
Liger-Kernel은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. Liger-Kernel의 마지막 커밋은 2026년 10월 22일입니다.
Liger-Kernel은(는) 어디에 사용할 수 있나요?
멀티 GPU 클러스터에서 Llama 또는 Qwen 모델의 전체 파인튜닝 속도를 높입니다. 메모리 사용량을 줄여 더 긴 컨텍스트 길이나 더 큰 어휘집으로 학습합니다. GPU 자원이 제한된 환경에서 DPO나 ORPO 같은 메모리 집약적인 선호도 최적화를 실행합니다. 학습 파이프라인에 효율적인 증류 손실 함수를 추가합니다.
Liger-Kernel은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/linkedin/Liger-Kernel

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트