Repolode
Enviar
linkedin

linkedin/Liger-Kernel

Kernels Triton eficientes para GPUs, voltados ao treinamento de LLMs, que fundem camadas e funções de perda comuns para reduzir o uso de memória e aumentar a vazão.

Ver no GitHubSite
Estrelas
6,665
Forks
627
Issues abertas
197
Último commit
há 3 horas

O que é?

Liger Kernel é uma coleção de kernels Triton para treinar modelos de linguagem grandes. Ele oferece substitutos diretos para operações comuns, como RMSNorm, RoPE, SwiGLU, CrossEntropy e uma versão fundida de cross-entropy linear, que reduzem o tráfego de memória e permitem usar contextos mais longos ou lotes maiores nas mesmas GPUs.

É possível adaptar modelos Hugging Face compatíveis com uma única chamada, como apply_liger_kernel_to_llama, ou combinar módulos de kernels individuais nos próprios modelos. O projeto também inclui funções de perda para pós-treinamento, como DPO, ORPO, SimPO, KTO e CPO, que evitam materializar os logits completos, além de funções de perda para destilação, como divergência JSD e KL. Ele funciona com PyTorch FSDP, DeepSpeed e DDP, e requer apenas Torch e Triton como dependências principais.

O repositório lista suporte a várias famílias de modelos, incluindo Llama, Qwen, Gemma, Mistral, Phi3 e DeepSeek, e inclui backends para CUDA, ROCm, Intel GPU e Ascend NPU, com implementações opcionais em cuTile e CuTe DSL para hardware NVIDIA.

Recursos principais

  • 01Kernels Triton substitutos diretos para RMSNorm, RoPE, SwiGLU, CrossEntropy e cross-entropy linear fundida.
  • 02Adaptação com uma linha de código para várias famílias de modelos Hugging Face compatíveis.
  • 03Funções de perda DPO, ORPO, SimPO, KTO e CPO com uso eficiente de memória para pós-treinamento.
  • 04Funções de perda para destilação, incluindo JSD, divergência KL e TVD.
  • 05Compatível com PyTorch FSDP, DeepSpeed e DDP, com dependências mínimas.
  • 06Backends para NVIDIA CUDA, AMD ROCm, Intel GPU e Ascend NPU.

Casos de uso

  • Acelerar o fine-tuning completo de modelos Llama ou Qwen em clusters com várias GPUs.
  • Reduzir o uso de memória para treinar com contextos mais longos ou vocabulários maiores.
  • Executar otimização de preferências com alto consumo de memória, como DPO ou ORPO, em GPUs limitadas.
  • Adicionar funções de perda eficientes para destilação a um pipeline de treinamento.

Tópicos

#llm-training#triton#gpu-kernels#fine-tuning#pytorch#deep-learning#memory-optimization#finetuning#gemma2#hacktoberfest

Perguntas frequentes

O que é Liger-Kernel?
Kernels Triton eficientes para GPUs, voltados ao treinamento de LLMs, que fundem camadas e funções de perda comuns para reduzir o uso de memória e aumentar a vazão. Liger Kernel é uma coleção de kernels Triton para treinar modelos de linguagem grandes. Ele oferece substitutos diretos para operações comuns, como RMSNorm, RoPE, SwiGLU, CrossEntropy e uma versão fundida de cross-entropy linear, que reduzem o tráfego de memória e permitem usar contextos mais longos ou lotes maiores nas mesmas GPUs.
Liger-Kernel é gratuito? Qual é a licença?
Liger-Kernel é open source sob a licença BSD-2-Clause. Confira os termos da licença antes de usá-lo em produtos comerciais.
Liger-Kernel ainda é mantido?
Manutenção ativa. O último commit de Liger-Kernel foi em 22 de out. de 2026.
Para que posso usar Liger-Kernel?
Acelerar o fine-tuning completo de modelos Llama ou Qwen em clusters com várias GPUs. Reduzir o uso de memória para treinar com contextos mais longos ou vocabulários maiores. Executar otimização de preferências com alto consumo de memória, como DPO ou ORPO, em GPUs limitadas. Adicionar funções de perda eficientes para destilação a um pipeline de treinamento.
Onde consigo Liger-Kernel?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/linkedin/Liger-Kernel

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados