Repolode
Enviar
changyeyu

changyeyu/LLM-RL-Visualized

Colección bilingüe de más de 100 diagramas originales que explican LLM, RL, RLHF, DPO, GRPO y algoritmos relacionados con modelos grandes.

Ver en GitHubSitio web
Estrellas
4,958
Forks
478
Issues abiertos
3
Último commit
el mes pasado

¿Qué es?

Este repositorio es una guía visual sobre técnicas de modelos de lenguaje grandes y aprendizaje por refuerzo. Contiene más de 100 diagramas de arquitectura originales que abarcan la estructura de LLM y VLM, estrategias de decodificación, flujos de trabajo de preentrenamiento y posentrenamiento, y métodos de ajuste fino como LoRA, Prefix-Tuning y SFT.

La segunda mitad del material se centra en la alineación y el razonamiento: esquemas de entrenamiento de DPO y RLHF, PPO y GRPO, modelos de recompensa, destilación de cadenas de pensamiento, MCTS y muestreo Best-of-N. También se ilustran fundamentos clásicos de RL, como los procesos de decisión de Markov, los métodos de Monte Carlo y TD, DQN, el gradiente de políticas y actor-crítico.

Los diagramas están disponibles como archivos PNG de alta resolución y SVG editables, con el texto en chino e inglés. Cada sección es una figura independiente, así que los lectores pueden ir directamente a un tema como LoRA o GRPO.

Funciones clave

  • 01Más de 100 diagramas originales sobre LLM, VLM y aprendizaje por refuerzo
  • 02Abarca métodos de ajuste fino como LoRA, Prefix-Tuning y SFT
  • 03Explica algoritmos de alineación como RLHF, DPO, PPO y GRPO
  • 04Incluye temas relacionados con el razonamiento, como la destilación de cadenas de pensamiento, MCTS y Best-of-N
  • 05Incluye archivos vectoriales SVG y PNG de alta resolución en chino e inglés

Casos de uso

  • Crear un modelo mental visual de cómo encajan los flujos de trabajo de entrenamiento de LLM
  • Estudiar las diferencias entre PPO, GRPO y DPO antes de implementar uno de ellos
  • Repasar los fundamentos del aprendizaje por refuerzo si se empieza a trabajar en alineación de LLM
  • Preparar diapositivas o material didáctico que requiera diagramas claros de algoritmos

Antes de usarlo

  • No se pudo identificar la licencia (aparece como NOASSERTION), por lo que las condiciones de reutilización no están claras.

Temas

#llm#reinforcement-learning#rlhf#dpo#fine-tuning#diagrams#deep-learning#nlp#ai#algorithm

Preguntas frecuentes

¿Qué es LLM-RL-Visualized?
Colección bilingüe de más de 100 diagramas originales que explican LLM, RL, RLHF, DPO, GRPO y algoritmos relacionados con modelos grandes. Este repositorio es una guía visual sobre técnicas de modelos de lenguaje grandes y aprendizaje por refuerzo. Contiene más de 100 diagramas de arquitectura originales que abarcan la estructura de LLM y VLM, estrategias de decodificación, flujos de trabajo de preentrenamiento y posentrenamiento, y métodos de ajuste fino como LoRA, Prefix-Tuning y SFT.
¿LLM-RL-Visualized es gratuito? ¿Qué licencia tiene?
LLM-RL-Visualized es open source bajo la licencia Other. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿LLM-RL-Visualized sigue mantenido?
Actualizado en los últimos 6 meses. El último commit de LLM-RL-Visualized fue el 10 sept 2026.
¿Para qué puedo usar LLM-RL-Visualized?
Crear un modelo mental visual de cómo encajan los flujos de trabajo de entrenamiento de LLM Estudiar las diferencias entre PPO, GRPO y DPO antes de implementar uno de ellos Repasar los fundamentos del aprendizaje por refuerzo si se empieza a trabajar en alineación de LLM Preparar diapositivas o material didáctico que requiera diagramas claros de algoritmos
¿Dónde consigo LLM-RL-Visualized?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/changyeyu/LLM-RL-Visualized

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados