Repolode
Enviar
datawhalechina

datawhalechina/happy-llm

Tutorial abierto en chino que enseña los principios de los LLM creando desde cero un modelo pequeño al estilo de LLaMA2, y cubre Transformer, preentrenamiento, ajuste fino, RAG y agentes.

Ver en GitHubSitio web
Estrellas
34,463
Forks
3,253
Issues abiertos
73
Último commit
hace 2 meses

¿Qué es?

Happy-LLM es un tutorial de aprendizaje sistemático sobre modelos de lenguaje grandes, publicado en chino por la comunidad Datawhale. Comienza con conceptos básicos de NLP y avanza por la arquitectura Transformer, las familias de modelos de lenguaje preentrenados y el proceso de entrenamiento de los LLM, combinando teoría y código práctico.

Los capítulos prácticos explican cómo implementar en PyTorch un modelo al estilo de LLaMA2, entrenar un tokenizer y realizar preentrenamiento y ajuste fino supervisado. Después abordan el entrenamiento con el framework Transformers, el ajuste eficiente en parámetros con LoRA/QLoRA, la evaluación de modelos, la generación aumentada por recuperación y los agentes. Un capítulo posterior cubre métodos de aprendizaje por refuerzo agéntico, como GRPO y Search-R1. El proyecto también enlaza modelos pequeños de preentrenamiento y SFT, de unos 215 millones de parámetros, en ModelScope.

El tutorial está disponible en un sitio web de fácil lectura y en formato PDF, con notas sobre el entorno específicas para cada capítulo y un capítulo extra independiente donde se aceptan publicaciones del blog de la comunidad.

Funciones clave

  • 01Construye desde cero en PyTorch un modelo al estilo de LLaMA2
  • 02Cubre Transformer, atención y arquitecturas encoder-decoder
  • 03Incluye entrenamiento de tokenizers, preentrenamiento y ajuste fino supervisado
  • 04Explica el ajuste fino eficiente en parámetros con LoRA y QLoRA
  • 05Introduce RAG, agentes y métodos de aprendizaje por refuerzo agéntico, como GRPO

Casos de uso

  • Aprender cómo funcionan internamente los LLM antes de leer artículos de investigación
  • Reproducir un pipeline pequeño de preentrenamiento y ajuste fino de un LLM
  • Prepararse para desarrollar aplicaciones con LLM que usen RAG y agentes
  • Enseñar los fundamentos de los LLM en una universidad o curso de formación

Inicio rápido

  1. 1

    Abre el sitio de lectura en línea desde el README

  2. 2

    Lee la guía de estudio y preparación del entorno antes de ejecutar el código

  3. 3

    Si quieres probarlo, descarga el modelo preentrenado de 215M desde ModelScope

Antes de usarlo

  • El contenido está escrito en chino, por lo que a los lectores angloparlantes puede resultarles difícil seguirlo.
  • El proyecto es un tutorial, no una biblioteca para producción, y cada capítulo requiere su propio entorno de Python.
  • La licencia es CC BY-NC-SA 4.0, que prohíbe el uso comercial.

Temas

#llm#transformer#tutorial#pytorch#fine-tuning#rag#agent#nlp

Preguntas frecuentes

¿Qué es happy-llm?
Tutorial abierto en chino que enseña los principios de los LLM creando desde cero un modelo pequeño al estilo de LLaMA2, y cubre Transformer, preentrenamiento, ajuste fino, RAG y agentes. Happy-LLM es un tutorial de aprendizaje sistemático sobre modelos de lenguaje grandes, publicado en chino por la comunidad Datawhale. Comienza con conceptos básicos de NLP y avanza por la arquitectura Transformer, las familias de modelos de lenguaje preentrenados y el proceso de entrenamiento de los LLM, combinando teoría y código práctico.
¿happy-llm es gratuito? ¿Qué licencia tiene?
happy-llm es open source bajo la licencia Other. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿happy-llm sigue mantenido?
Actualizado en los últimos 6 meses. El último commit de happy-llm fue el 8 ago 2026.
¿Para qué puedo usar happy-llm?
Aprender cómo funcionan internamente los LLM antes de leer artículos de investigación Reproducir un pipeline pequeño de preentrenamiento y ajuste fino de un LLM Prepararse para desarrollar aplicaciones con LLM que usen RAG y agentes Enseñar los fundamentos de los LLM en una universidad o curso de formación
¿Cómo se instala happy-llm?
Abre el sitio de lectura en línea desde el README Lee la guía de estudio y preparación del entorno antes de ejecutar el código Si quieres probarlo, descarga el modelo preentrenado de 215M desde ModelScope
¿Dónde consigo happy-llm?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/datawhalechina/happy-llm

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados