Repolode
Enviar
changyeyu

changyeyu/LLM-RL-Visualized

Coleção bilíngue com mais de 100 diagramas originais que explicam LLM, RL, RLHF, DPO, GRPO e algoritmos relacionados a modelos de grande porte.

Ver no GitHubSite
Estrelas
4,958
Forks
478
Issues abertas
3
Último commit
mês passado

O que é?

Este repositório é um guia visual sobre técnicas de modelos de linguagem de grande porte e aprendizado por reforço. Ele contém mais de 100 diagramas originais de arquitetura que abordam a estrutura de LLMs e VLMs, estratégias de decodificação, pipelines de pré-treinamento e pós-treinamento e métodos de fine-tuning, como LoRA, Prefix-Tuning e SFT.

A segunda metade do material se concentra em alinhamento e raciocínio: estruturas de treinamento para DPO e RLHF, PPO e GRPO, modelos de recompensa, destilação de chain-of-thought, MCTS e amostragem Best-of-N. Também são ilustrados fundamentos clássicos de RL, como processos de decisão de Markov, métodos de Monte Carlo e TD, DQN, gradiente de política e actor-critic.

Os diagramas estão disponíveis em arquivos PNG de alta resolução e SVG editáveis, com o texto em chinês e inglês. Cada seção é uma figura independente, para que os leitores possam ir diretamente a um tópico, como LoRA ou GRPO.

Recursos principais

  • 01Mais de 100 diagramas originais sobre LLM, VLM e aprendizado por reforço
  • 02Aborda métodos de fine-tuning, incluindo LoRA, Prefix-Tuning e SFT
  • 03Explica algoritmos de alinhamento, como RLHF, DPO, PPO e GRPO
  • 04Inclui tópicos voltados ao raciocínio, como destilação de chain-of-thought, MCTS e Best-of-N
  • 05Oferece arquivos vetoriais SVG e PNGs de alta resolução, em chinês e inglês

Casos de uso

  • Construir uma compreensão visual de como os pipelines de treinamento de LLMs se encaixam
  • Estudar as diferenças entre PPO, GRPO e DPO antes de implementar um deles
  • Revisar os fundamentos de aprendizado por reforço para quem está começando a trabalhar com alinhamento de LLMs
  • Preparar slides ou material de aula que exija diagramas claros de algoritmos

Antes de usar

  • Não foi possível identificar a licença (indicada como NOASSERTION), por isso as condições de reutilização não estão claras.

Tópicos

#llm#reinforcement-learning#rlhf#dpo#fine-tuning#diagrams#deep-learning#nlp#ai#algorithm

Perguntas frequentes

O que é LLM-RL-Visualized?
Coleção bilíngue com mais de 100 diagramas originais que explicam LLM, RL, RLHF, DPO, GRPO e algoritmos relacionados a modelos de grande porte. Este repositório é um guia visual sobre técnicas de modelos de linguagem de grande porte e aprendizado por reforço. Ele contém mais de 100 diagramas originais de arquitetura que abordam a estrutura de LLMs e VLMs, estratégias de decodificação, pipelines de pré-treinamento e pós-treinamento e métodos de fine-tuning, como LoRA, Prefix-Tuning e SFT.
LLM-RL-Visualized é gratuito? Qual é a licença?
LLM-RL-Visualized é open source sob a licença Other. Confira os termos da licença antes de usá-lo em produtos comerciais.
LLM-RL-Visualized ainda é mantido?
Atualizado nos últimos 6 meses. O último commit de LLM-RL-Visualized foi em 10 de set. de 2026.
Para que posso usar LLM-RL-Visualized?
Construir uma compreensão visual de como os pipelines de treinamento de LLMs se encaixam Estudar as diferenças entre PPO, GRPO e DPO antes de implementar um deles Revisar os fundamentos de aprendizado por reforço para quem está começando a trabalhar com alinhamento de LLMs Preparar slides ou material de aula que exija diagramas claros de algoritmos
Onde consigo LLM-RL-Visualized?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/changyeyu/LLM-RL-Visualized

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados