Учебник на китайском языке, который объясняет принципы работы LLM на примере создания небольшой модели в стиле LLaMA2 с нуля: от Transformer и предобучения до дообучения, RAG и агентов.
34,5 тыс.3,3 тыс.Jupyter NotebookOtherОбновлён 3 месяца назад
skindhu/Build-A-Large-Language-Model-CN
Китайский перевод книги «Build a Large Language Model (From Scratch)» о принципах работы LLM и пошаговой реализации модели в стиле GPT.
- Звёзды
- 4,134
- Форки
- 682
- Открытые issues
- 9
- Последний коммит
- 2 месяца назад
Что это?
В этом репозитории размещён перевод книги «Build a Large Language Model (From Scratch)» на упрощённый китайский язык. В ней пошагово рассказывается, как работают большие языковые модели и как реализовать модель в стиле GPT. Перевод разбит на главы и охватывает обработку текстовых данных, механизмы внимания, реализацию модели GPT, предобучение, дообучение для классификации и дообучение на инструкциях. В приложениях рассматриваются PyTorch, LoRA и методы организации цикла обучения.
Вместе с китайскими главами приведена оригинальная электронная версия книги на английском языке, а китайский перевод можно читать онлайн на веб-странице. Переводчик отмечает, что работа проходила в несколько этапов: черновой перевод с помощью ИИ, проверка ИИ, затем ручная редактура. В репозитории также есть пояснения переводчика к местам, которые в оригинале изложены кратко.
Сопутствующий код к книге размещён в отдельном официальном репозитории, на который ссылается этот перевод.
Ключевые возможности
- 01Китайский перевод, структура которого соответствует главам английской книги
- 02Оригинальная электронная версия книги на английском языке для параллельного чтения
- 03Рассматриваются токенизация, внимание, реализация GPT, предобучение и дообучение
- 04В приложениях — основы PyTorch и параметрически эффективное дообучение с помощью LoRA
- 05Можно читать онлайн на веб-странице
Сценарии использования
- Изучение принципов работы LLM с нуля на китайском языке
- Практическое создание небольшой модели GPT с написанием кода
- Изучение предобучения и дообучения LLM на инструкциях
Быстрый старт
- 1
Читать книгу онлайн на сайте GitHub Pages проекта
- 2
Клонировать репозиторий, чтобы получить электронную книгу на английском и изображения локально
Что важно знать
- Это перевод книги, а не программная библиотека; в README не описан запускаемый проект.
- Согласно README, часть перевода создана с помощью ИИ и не прошла полную проверку; рекомендуется читать оригинальную книгу на английском.
- В качестве лицензии указано NOASSERTION, поэтому условия повторного использования неясны.
Темы
Частые вопросы
- Что такое Build-A-Large-Language-Model-CN?
- Китайский перевод книги «Build a Large Language Model (From Scratch)» о принципах работы LLM и пошаговой реализации модели в стиле GPT. В этом репозитории размещён перевод книги «Build a Large Language Model (From Scratch)» на упрощённый китайский язык. В ней пошагово рассказывается, как работают большие языковые модели и как реализовать модель в стиле GPT. Перевод разбит на главы и охватывает обработку текстовых данных, механизмы внимания, реализацию модели GPT, предобучение, дообучение для классификации и дообучение на инструкциях. В приложениях рассматриваются PyTorch, LoRA и методы организации цикла обучения.
- Build-A-Large-Language-Model-CN можно использовать бесплатно? Какая у него лицензия?
- Build-A-Large-Language-Model-CN распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- Build-A-Large-Language-Model-CN всё ещё поддерживается?
- Обновлялся за последние 6 месяцев. Последний коммит в Build-A-Large-Language-Model-CN — 10 авг. 2026 г..
- Для чего можно использовать Build-A-Large-Language-Model-CN?
- Изучение принципов работы LLM с нуля на китайском языке Практическое создание небольшой модели GPT с написанием кода Изучение предобучения и дообучения LLM на инструкциях
- Как установить Build-A-Large-Language-Model-CN?
- Читать книгу онлайн на сайте GitHub Pages проекта Клонировать репозиторий, чтобы получить электронную книгу на английском и изображения локально
- Где скачать Build-A-Large-Language-Model-CN?
- Исходный код и инструкции по установке — на GitHub: https://github.com/skindhu/Build-A-Large-Language-Model-CN
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Практическое руководство и кодовая база на PyTorch для обучения LLM-трансформера с нуля: предобучение, SFT, reward modeling, DPO/PPO/GRPO и генерация.
12,4 тыс.1,7 тыс.PythonMITОбновлён 20 дней назад
Код к книге Build a Large Language Model (From Scratch): пошаговая реализация LLM, похожей на GPT, на PyTorch.
107,1 тыс.16,5 тыс.Jupyter NotebookOtherОбновлён 20 дней назад
Фреймворк с определениями современных моделей машинного обучения для текста, изображений, аудио и мультимодальных задач — для обучения и инференса.
168 тыс.34,9 тыс.PythonApache-2.0Обновлён 4 часа назад
Официальная реализация FlashAttention — точного и экономного по памяти attention-ядра для обучения и инференса Transformer-моделей на GPU.
25,2 тыс.3,2 тыс.PythonBSD-3-ClauseОбновлён 3 часа назад
Минималистичный, удобный для модификации инструментарий для полного цикла работы с LLM — от токенизации и предобучения до дообучения, оценки и чата; запускается на одном узле с GPU.
58,9 тыс.8,2 тыс.PythonMITОбновлён 2 месяца назад