Biblioteca de operadores con kernels de LLM compatibles con PyTorch, escritos en Triton y diseñados para funcionar en distintos backends de aceleradores de IA.
1,2 mil588PythonApache-2.0Actualizado hace 3 horas
linkedin/Liger-Kernel
Kernels de GPU eficientes en Triton para entrenar LLM, que fusionan capas y funciones de pérdida comunes para reducir el uso de memoria y aumentar el rendimiento.
- Estrellas
- 6,665
- Forks
- 627
- Issues abiertos
- 197
- Último commit
- hace 3 horas
¿Qué es?
Liger Kernel es una colección de kernels de Triton para entrenar modelos de lenguaje de gran tamaño. Ofrece reemplazos directos para operaciones habituales como RMSNorm, RoPE, SwiGLU, CrossEntropy y una función de pérdida de entropía cruzada lineal fusionada, que reducen el tráfico de memoria y permiten usar secuencias de contexto más largas o lotes más grandes en las mismas GPU.
Los usuarios pueden aplicar parches a los modelos compatibles de Hugging Face con una sola llamada, como apply_liger_kernel_to_llama, o combinar módulos de kernels individuales en sus propios modelos. El proyecto también incluye funciones de pérdida para el postentrenamiento, como DPO, ORPO, SimPO, KTO y CPO, que evitan materializar los logits completos, además de funciones de pérdida de destilación como JSD y la divergencia KL. Es compatible con PyTorch FSDP, DeepSpeed y DDP, y solo requiere Torch y Triton como dependencias principales.
El repositorio indica compatibilidad con muchas familias de modelos, entre ellas Llama, Qwen, Gemma, Mistral, Phi3 y DeepSeek, e incluye backends para CUDA, ROCm, Intel GPU y Ascend NPU, con implementaciones opcionales en cuTile y CuTe DSL para hardware NVIDIA.
Funciones clave
- 01Kernels de Triton que se pueden usar como reemplazos directos para RMSNorm, RoPE, SwiGLU, CrossEntropy y la entropía cruzada lineal fusionada.
- 02Aplicación de parches con una sola línea a muchas familias de modelos compatibles de Hugging Face.
- 03Funciones de pérdida DPO, ORPO, SimPO, KTO y CPO con uso eficiente de memoria para el postentrenamiento.
- 04Funciones de pérdida de destilación como JSD, divergencia KL y TVD.
- 05Compatible con PyTorch FSDP, DeepSpeed y DDP, con dependencias mínimas.
- 06Backends para NVIDIA CUDA, AMD ROCm, Intel GPU y Ascend NPU.
Casos de uso
- Acelerar el ajuste fino completo de modelos Llama o Qwen en clústeres con varias GPU.
- Reducir el uso de memoria para entrenar con secuencias de contexto más largas o vocabularios más grandes.
- Ejecutar optimización de preferencias con alto consumo de memoria, como DPO u ORPO, en GPU con recursos limitados.
- Añadir funciones de pérdida de destilación eficientes a un flujo de entrenamiento.
Temas
Preguntas frecuentes
- ¿Qué es Liger-Kernel?
- Kernels de GPU eficientes en Triton para entrenar LLM, que fusionan capas y funciones de pérdida comunes para reducir el uso de memoria y aumentar el rendimiento. Liger Kernel es una colección de kernels de Triton para entrenar modelos de lenguaje de gran tamaño. Ofrece reemplazos directos para operaciones habituales como RMSNorm, RoPE, SwiGLU, CrossEntropy y una función de pérdida de entropía cruzada lineal fusionada, que reducen el tráfico de memoria y permiten usar secuencias de contexto más largas o lotes más grandes en las mismas GPU.
- ¿Liger-Kernel es gratuito? ¿Qué licencia tiene?
- Liger-Kernel es open source bajo la licencia BSD-2-Clause. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿Liger-Kernel sigue mantenido?
- Mantenimiento activo. El último commit de Liger-Kernel fue el 22 oct 2026.
- ¿Para qué puedo usar Liger-Kernel?
- Acelerar el ajuste fino completo de modelos Llama o Qwen en clústeres con varias GPU. Reducir el uso de memoria para entrenar con secuencias de contexto más largas o vocabularios más grandes. Ejecutar optimización de preferencias con alto consumo de memoria, como DPO u ORPO, en GPU con recursos limitados. Añadir funciones de pérdida de destilación eficientes a un flujo de entrenamiento.
- ¿Dónde consigo Liger-Kernel?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/linkedin/Liger-Kernel
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Kernels basados en Triton y capas listas para entrenar para arquitecturas LLM de atención lineal, atención dispersa, espacio de estados e híbridas.
IA y Machine Learning#linear-attention#triton#large-language-models#sequence-modeling#state-space-models
6 mil779PythonMITActualizado hace 13 horas
Biblioteca de código abierto para entrenar modelos de lenguaje grandes con paralelismo 3D, optimización de memoria ZeRO e integración con Hugging Face, basada en PyTorch y Triton.
33753PythonOtherActualizado hace 8 días
Un entorno mínimo y fácil de modificar que cubre todo el flujo de trabajo de los LLM, desde la tokenización y el preentrenamiento hasta el ajuste fino, la evaluación y el chat, en un único nodo con GPU.
58,9 mil8,2 milPythonMITActualizado hace 2 meses
Kit basado en PyTorch con implementaciones de LLM desde cero para preentrenar, ajustar, evaluar y servir más de 20 modelos de pesos abiertos.
13,7 mil1,5 milPythonApache-2.0Actualizado hace 10 días
Código complementario del libro Build a Large Language Model (From Scratch) para implementar paso a paso un LLM similar a GPT en PyTorch.
107,1 mil16,5 milJupyter NotebookOtherActualizado hace 20 días