aa1143/NamiGPT

Что это?

Ключевые возможности

• 01Реализует GPT-2 с нуля на PyTorch без встроенных модулей Transformer.
• 02Загружает официальные веса OpenAI GPT-2 124M для инференса и генерации текста.
• 03Содержит 15 глав, в каждой — запускаемый скрипт на примере из трёх слов.
• 04Включает демо на Gradio, которое показывает вероятности следующего токена на каждом шаге.
• 05Содержит тесты pytest для проверки результатов на соответствие реализации HuggingFace.

Сценарии использования

• Разобраться, как attention, остаточные связи и LayerNorm сочетаются в модели GPT.
• Проводить занятия или учебную группу по внутреннему устройству Transformer, используя небольшую и понятную кодовую базу.
• Сравнить собственную реализацию GPT с эталонной и проверить, совпадают ли результаты с HuggingFace.
• Локально запускать продолжение текста с GPT-2 и наблюдать за влиянием параметров семплирования, например temperature и top-k.

Быстрый старт

1. 1

   Клонируйте репозиторий

   git clone https://github.com/aa1143/NamiGPT.git
2. 2

   Перейдите в папку проекта

   cd NamiGPT
3. 3

   Установите зависимости

   pip install -r requirements.txt
4. 4

   Запустите один из скриптов учебника, например демонстрацию multi-head attention

   python chapters/01-inference/ep06_multi_head_attention.py

Что важно знать

• !Проект написан как учебник для начинающих, поэтому это не фреймворк для обучения и не библиотека для инференса в production.
• !Статьи в docs/ распространяются по лицензии CC BY-NC 4.0, которая запрещает коммерческое использование.
• !Используются веса GPT-2, которая не следует инструкциям и обучалась преимущественно на английском языке.

Темы

Частые вопросы

Что такое NamiGPT?

Учебный курс на китайском для начинающих: создание GPT-2 с нуля на PyTorch на примере из трёх слов «кот ест рыбу». NamiGPT — это пошаговое руководство по устройству больших языковых моделей, в котором GPT-2 реализуют на PyTorch. Код модели в gpt2/model.py занимает меньше 200 строк и не использует готовые модули Transformer. Реализация умеет загружать официальные веса OpenAI 124M, выполнять инференс и генерировать текст.

NamiGPT можно использовать бесплатно? Какая у него лицензия?

NamiGPT распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

NamiGPT всё ещё поддерживается?

Активно поддерживается. Последний коммит в NamiGPT — 28 окт. 2026 г..

Для чего можно использовать NamiGPT?

Разобраться, как attention, остаточные связи и LayerNorm сочетаются в модели GPT. Проводить занятия или учебную группу по внутреннему устройству Transformer, используя небольшую и понятную кодовую базу. Сравнить собственную реализацию GPT с эталонной и проверить, совпадают ли результаты с HuggingFace. Локально запускать продолжение текста с GPT-2 и наблюдать за влиянием параметров семплирования, например temperature и top-k.

Как установить NamiGPT?

Клонируйте репозиторий: git clone https://github.com/aa1143/NamiGPT.git Перейдите в папку проекта: cd NamiGPT Установите зависимости: pip install -r requirements.txt Запустите один из скриптов учебника, например демонстрацию multi-head attention: python chapters/01-inference/ep06_multi_head_attention.py

Где скачать NamiGPT?

Исходный код и инструкции по установке — на GitHub: https://github.com/aa1143/NamiGPT