Código complementario del libro Build a Large Language Model (From Scratch) para implementar paso a paso un LLM similar a GPT en PyTorch.
107 mil16,5 milJupyter NotebookOtherActualizado hace 20 días
Lightning-AI/litgpt
Kit basado en PyTorch con implementaciones de LLM desde cero para preentrenar, ajustar, evaluar y servir más de 20 modelos de pesos abiertos.
- Estrellas
- 13,724
- Forks
- 1,527
- Issues abiertos
- 315
- Último commit
- hace 9 días
¿Qué es?
LitGPT es un kit de herramientas de Python para trabajar con modelos de lenguaje grandes. Cada modelo compatible está implementado desde cero en un único archivo y con pocas capas internas de abstracción, por lo que el código es fácil de leer y modificar. Abarca más de 20 familias de modelos, como Llama, Gemma, Qwen, Phi, Mistral y Falcon, y ofrece una CLI y una API de Python para descargar pesos, chatear, ajustar, preentrenar, evaluar y servir los modelos.
El proyecto está pensado tanto para la experimentación como para el entrenamiento a gran escala. Admite ajuste eficiente en parámetros con LoRA, QLoRA y adapters, configuraciones de baja precisión y cuantizadas (incluidos 4 bits y 8 bits), Flash Attention y entrenamiento con varias GPU mediante paralelismo de datos completamente fragmentado. Incluye una serie de recetas de entrenamiento en YAML para configuraciones habituales de modelos y hardware, y permite exportar checkpoints a otros formatos de pesos de modelos.
LitGPT está construido sobre Lightning Fabric y amplía las bases de código de Lit-LLaMA y nanoGPT. Se distribuye bajo la licencia Apache 2.0.
Funciones clave
- 01Implementaciones de modelos desde cero en un único archivo y con capas mínimas de abstracción.
- 02Ajuste con LoRA, QLoRA, Adapter y Adapter v2.
- 03Preentrenamiento y continuación del preentrenamiento con datos de texto personalizados.
- 04Cuantización a 4 y 8 bits, además de precisión mixta FP16/BF16.
- 05Entrenamiento con varias GPU mediante paralelismo de datos completamente fragmentado y compatibilidad con TPU/XLA.
- 06Servir modelos mediante una API web local y chatear de forma interactiva desde la CLI.
Casos de uso
- Ajustar un modelo de pesos abiertos, como Phi o Llama, con un conjunto de datos de instrucciones específico de un dominio.
- Estudiar o modificar el código de la arquitectura de un LLM sin capas de abstracción del framework.
- Ejecutar un modelo cuantizado a 4 bits en una GPU con memoria limitada.
- Implementar un checkpoint ajustado como endpoint de inferencia HTTP.
Inicio rápido
- 1
Instala LitGPT con pip
pip install 'litgpt[extra]' - 2
Carga un modelo con la API de Python y genera texto (a partir del ejemplo del README)
Antes de usarlo
- Para entrenar y ajustar modelos más grandes, en la práctica se necesita hardware con GPU.
Temas
Preguntas frecuentes
- ¿Qué es litgpt?
- Kit basado en PyTorch con implementaciones de LLM desde cero para preentrenar, ajustar, evaluar y servir más de 20 modelos de pesos abiertos. LitGPT es un kit de herramientas de Python para trabajar con modelos de lenguaje grandes. Cada modelo compatible está implementado desde cero en un único archivo y con pocas capas internas de abstracción, por lo que el código es fácil de leer y modificar. Abarca más de 20 familias de modelos, como Llama, Gemma, Qwen, Phi, Mistral y Falcon, y ofrece una CLI y una API de Python para descargar pesos, chatear, ajustar, preentrenar, evaluar y servir los modelos.
- ¿litgpt es gratuito? ¿Qué licencia tiene?
- litgpt es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿litgpt sigue mantenido?
- Mantenimiento activo. El último commit de litgpt fue el 13 oct 2026.
- ¿Para qué puedo usar litgpt?
- Ajustar un modelo de pesos abiertos, como Phi o Llama, con un conjunto de datos de instrucciones específico de un dominio. Estudiar o modificar el código de la arquitectura de un LLM sin capas de abstracción del framework. Ejecutar un modelo cuantizado a 4 bits en una GPU con memoria limitada. Implementar un checkpoint ajustado como endpoint de inferencia HTTP.
- ¿Cómo se instala litgpt?
- Instala LitGPT con pip: pip install 'litgpt[extra]' Carga un modelo con la API de Python y genera texto (a partir del ejemplo del README)
- ¿Dónde consigo litgpt?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/Lightning-AI/litgpt
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Un entorno mínimo y fácil de modificar que cubre todo el flujo de trabajo de los LLM, desde la tokenización y el preentrenamiento hasta el ajuste fino, la evaluación y el chat, en un único nodo con GPU.
58,8 mil8,2 milPythonMITActualizado el mes pasado
Framework de investigación para inferencia de LLM con arquitectura heterogénea CPU-GPU y ajuste fino LoRA o completo de modelos MoE grandes con memoria GPU limitada.
19,6 mil1,6 milPythonApache-2.0Actualizado anteayer
Biblioteca de Python que ejecuta modelos de lenguaje grandes capa por capa para que los modelos de 70B puedan inferir en una sola GPU de 4 GB, sin cuantización.
39,5 mil4 milJupyter NotebookApache-2.0Actualizado hace 3 días
Framework gratuito y de código abierto para ajustar y realizar el posentrenamiento de modelos de lenguaje grandes mediante archivos YAML.
12,6 mil1,6 milPythonApache-2.0Actualizado anteayer
Biblioteca Python de código abierto de Intel para comprimir modelos de deep learning mediante cuantización, sparsity y destilación en PyTorch, JAX y ONNX.
2,7 mil331PythonApache-2.0Actualizado anteayer