Repolode
Enviar
datawhalechina

datawhalechina/happy-llm

Tutorial aberto em chinês que ensina os princípios dos LLMs construindo do zero um modelo pequeno no estilo LLaMA2, com Transformer, pré-treinamento, fine-tuning, RAG e agentes.

Ver no GitHubSite
Estrelas
34,463
Forks
3,253
Issues abertas
73
Último commit
há 2 meses

O que é?

Happy-LLM é um tutorial sistemático sobre grandes modelos de linguagem, publicado em chinês pela comunidade Datawhale. Ele parte de conceitos básicos de NLP e avança pela arquitetura Transformer, pelas famílias de modelos de linguagem pré-treinados e pelo processo de treinamento de LLMs, combinando teoria e código prático.

Os capítulos práticos mostram como implementar em PyTorch um modelo no estilo LLaMA2, treinar um tokenizer e executar pré-treinamento e fine-tuning supervisionado. Em seguida, abordam treinamento com o framework Transformers, ajuste eficiente em parâmetros com LoRA/QLoRA, avaliação de modelos, geração aumentada por recuperação e agentes. Um capítulo posterior trata de métodos de aprendizado por reforço agentic, como GRPO e Search-R1. O projeto também disponibiliza links para modelos pequenos pré-treinados e ajustados por SFT, com cerca de 215 milhões de parâmetros, no ModelScope.

O tutorial está disponível como site para leitura e em PDF, com notas de ambiente específicas para cada capítulo e um Extra Chapter separado, que aceita publicações de blog da comunidade.

Recursos principais

  • 01Ensina a construir do zero, em PyTorch, um modelo no estilo LLaMA2
  • 02Aborda Transformer, atenção e arquiteturas encoder-decoder
  • 03Inclui treinamento de tokenizer, pré-treinamento e fine-tuning supervisionado
  • 04Explica o fine-tuning eficiente em parâmetros com LoRA e QLoRA
  • 05Apresenta RAG, agentes e métodos de RL agentic, como GRPO

Casos de uso

  • Aprender como os LLMs funcionam internamente antes de ler artigos de pesquisa
  • Reproduzir um pipeline de pré-treinamento e fine-tuning de um LLM pequeno
  • Preparar-se para desenvolver aplicações com LLMs usando RAG e agentes
  • Ensinar fundamentos de LLMs em uma universidade ou curso de treinamento

Início rápido

  1. 1

    Abra o site de leitura on-line pelo README

  2. 2

    Leia o guia de estudo e preparação do ambiente antes de executar o código

  3. 3

    Se quiser experimentar, baixe o modelo pré-treinado de 215M no ModelScope

Antes de usar

  • O conteúdo está escrito em chinês, então leitores que falam inglês podem ter dificuldade para acompanhá-lo.
  • O projeto é um tutorial, não uma biblioteca para produção, e cada capítulo precisa de seu próprio ambiente Python.
  • A licença é CC BY-NC-SA 4.0, que proíbe o uso comercial.

Tópicos

#llm#transformer#tutorial#pytorch#fine-tuning#rag#agent#nlp

Perguntas frequentes

O que é happy-llm?
Tutorial aberto em chinês que ensina os princípios dos LLMs construindo do zero um modelo pequeno no estilo LLaMA2, com Transformer, pré-treinamento, fine-tuning, RAG e agentes. Happy-LLM é um tutorial sistemático sobre grandes modelos de linguagem, publicado em chinês pela comunidade Datawhale. Ele parte de conceitos básicos de NLP e avança pela arquitetura Transformer, pelas famílias de modelos de linguagem pré-treinados e pelo processo de treinamento de LLMs, combinando teoria e código prático.
happy-llm é gratuito? Qual é a licença?
happy-llm é open source sob a licença Other. Confira os termos da licença antes de usá-lo em produtos comerciais.
happy-llm ainda é mantido?
Atualizado nos últimos 6 meses. O último commit de happy-llm foi em 8 de ago. de 2026.
Para que posso usar happy-llm?
Aprender como os LLMs funcionam internamente antes de ler artigos de pesquisa Reproduzir um pipeline de pré-treinamento e fine-tuning de um LLM pequeno Preparar-se para desenvolver aplicações com LLMs usando RAG e agentes Ensinar fundamentos de LLMs em uma universidade ou curso de treinamento
Como instalar happy-llm?
Abra o site de leitura on-line pelo README Leia o guia de estudo e preparação do ambiente antes de executar o código Se quiser experimentar, baixe o modelo pré-treinado de 215M no ModelScope
Onde consigo happy-llm?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/datawhalechina/happy-llm

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados