rasbt/LLMs-from-scratch

Что это?

Ключевые возможности

• 01Пошаговая реализация модели, похожей на GPT, на PyTorch без сторонних библиотек для LLM
• 02Рассматриваются токенизация, механизмы внимания, предобучение, дообучение для классификации и дообучение на инструкциях
• 03Работает на обычных ноутбуках и автоматически использует GPU, если он доступен
• 04Дополнительные материалы о BPE, KV cache, MoE, DPO и LoRA
• 05Реализация с нуля таких архитектур, как Llama 3.2, Qwen3 и Gemma 3

Сценарии использования

• Изучение внутреннего устройства LLM на практике, с самостоятельным написанием кода
• Работа по книге Build a Large Language Model или видеокурсу к ней
• Эксперименты с предобучением небольшой модели GPT на ноутбуке в учебных целях
• Изучение современных вариантов механизмов внимания и архитектур по понятному коду на PyTorch

Быстрый старт

1. 1

   Клонируйте репозиторий с небольшой глубиной истории (shallow clone)

   git clone --depth 1 https://github.com/rasbt/LLMs-from-scratch.git
2. 2

   Следуйте руководству по настройке в папке setup, чтобы установить Python и необходимые пакеты

3. 3

   Откройте ноутбуки основных глав, например ch02/01_main-chapter-code/ch02.ipynb

Что важно знать

• !В метаданных в качестве лицензии указано NOASSERTION, поэтому условия лицензии неясны — проверьте их перед повторным использованием.
• !Это дополнительный код к книге: набор учебных ноутбуков и скриптов, а не упакованная библиотека или приложение.

Темы

Частые вопросы

Что такое LLMs-from-scratch?

Код к книге Build a Large Language Model (From Scratch): пошаговая реализация LLM, похожей на GPT, на PyTorch. В репозитории собран код для разработки, предобучения и дообучения большой языковой модели, похожей на GPT, на PyTorch — без сторонних библиотек для LLM. Материалы разбиты по главам книги и охватывают подготовку текстовых данных и токенизацию, механизмы внимания, создание модели GPT, предобучение на неразмеченных данных, дообучение для классификации и дообучение на инструкциях.

LLMs-from-scratch можно использовать бесплатно? Какая у него лицензия?

LLMs-from-scratch распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.

LLMs-from-scratch всё ещё поддерживается?

Активно поддерживается. Последний коммит в LLMs-from-scratch — 2 окт. 2026 г..

Для чего можно использовать LLMs-from-scratch?

Изучение внутреннего устройства LLM на практике, с самостоятельным написанием кода Работа по книге Build a Large Language Model или видеокурсу к ней Эксперименты с предобучением небольшой модели GPT на ноутбуке в учебных целях Изучение современных вариантов механизмов внимания и архитектур по понятному коду на PyTorch

Как установить LLMs-from-scratch?

Клонируйте репозиторий с небольшой глубиной истории (shallow clone): git clone --depth 1 https://github.com/rasbt/LLMs-from-scratch.git Следуйте руководству по настройке в папке setup, чтобы установить Python и необходимые пакеты Откройте ноутбуки основных глав, например ch02/01_main-chapter-code/ch02.ipynb

Где скачать LLMs-from-scratch?

Исходный код и инструкции по установке — на GitHub: https://github.com/rasbt/LLMs-from-scratch