Repolode
Предложить
datawhalechina

datawhalechina/happy-llm

Учебник на китайском языке, который объясняет принципы работы LLM на примере создания небольшой модели в стиле LLaMA2 с нуля: от Transformer и предобучения до дообучения, RAG и агентов.

Открыть на GitHubСайт
Звёзды
34,463
Форки
3,253
Открытые issues
73
Последний коммит
2 месяца назад

Что это?

Happy-LLM — систематический учебник по большим языковым моделям на китайском языке, опубликованный сообществом Datawhale. Он начинается с базовых понятий NLP и постепенно разбирает архитектуру Transformer, семейства предобученных языковых моделей и процесс обучения LLM, сочетая теорию с практическим кодом.

В практических главах показано, как реализовать модель в стиле LLaMA2 на PyTorch, обучить токенизатор, выполнить предобучение и supervised fine-tuning, а затем перейти к обучению с помощью фреймворка Transformers, параметрически эффективному дообучению LoRA/QLoRA, оценке моделей, генерации с дополнением на основе поиска и агентам. В одной из последующих глав рассматриваются методы Agentic reinforcement learning, включая GRPO и Search-R1. В проекте также есть ссылки на небольшие предварительно обученные модели и модели после SFT примерно на 215M параметров на ModelScope.

Учебник доступен на удобном для чтения сайте и в формате PDF; для глав приведены отдельные примечания по настройке окружения, а в отдельной дополнительной главе Extra Chapter принимаются публикации сообщества в блогах.

Ключевые возможности

  • 01Создание модели в стиле LLaMA2 с нуля на PyTorch
  • 02Разбор Transformer, механизмов attention и архитектур encoder-decoder
  • 03Обучение токенизатора, предобучение и supervised fine-tuning
  • 04Объяснение параметрически эффективного дообучения с помощью LoRA и QLoRA
  • 05Знакомство с RAG, агентами и методами Agentic RL, такими как GRPO

Сценарии использования

  • Изучение внутреннего устройства LLM перед чтением научных статей
  • Воспроизведение конвейера предобучения и дообучения небольшой LLM
  • Подготовка к разработке приложений на основе LLM с RAG и агентами
  • Преподавание основ LLM в университете или на учебном курсе

Быстрый старт

  1. 1

    Откройте сайт для чтения онлайн из README

  2. 2

    Прочитайте руководство по изучению и настройке окружения перед запуском кода

  3. 3

    Если хотите попробовать модель, скачайте предварительно обученную модель 215M с ModelScope

Что важно знать

  • Материалы написаны на китайском языке, поэтому англоязычным читателям может быть трудно их понять.
  • Проект представляет собой учебное пособие, а не библиотеку для промышленного использования; для каждой главы требуется отдельное окружение Python.
  • Лицензия CC BY-NC-SA 4.0 запрещает коммерческое использование.

Темы

#llm#transformer#tutorial#pytorch#fine-tuning#rag#agent#nlp

Частые вопросы

Что такое happy-llm?
Учебник на китайском языке, который объясняет принципы работы LLM на примере создания небольшой модели в стиле LLaMA2 с нуля: от Transformer и предобучения до дообучения, RAG и агентов. Happy-LLM — систематический учебник по большим языковым моделям на китайском языке, опубликованный сообществом Datawhale. Он начинается с базовых понятий NLP и постепенно разбирает архитектуру Transformer, семейства предобученных языковых моделей и процесс обучения LLM, сочетая теорию с практическим кодом.
happy-llm можно использовать бесплатно? Какая у него лицензия?
happy-llm распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.
happy-llm всё ещё поддерживается?
Обновлялся за последние 6 месяцев. Последний коммит в happy-llm — 8 авг. 2026 г..
Для чего можно использовать happy-llm?
Изучение внутреннего устройства LLM перед чтением научных статей Воспроизведение конвейера предобучения и дообучения небольшой LLM Подготовка к разработке приложений на основе LLM с RAG и агентами Преподавание основ LLM в университете или на учебном курсе
Как установить happy-llm?
Откройте сайт для чтения онлайн из README Прочитайте руководство по изучению и настройке окружения перед запуском кода Если хотите попробовать модель, скачайте предварительно обученную модель 215M с ModelScope
Где скачать happy-llm?
Исходный код и инструкции по установке — на GitHub: https://github.com/datawhalechina/happy-llm

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты