jingyaogong/minimind

Что это?

Ключевые возможности

• 01Обучает с нуля плотную модель примерно на 64 млн параметров и вариант MoE на одной потребительской GPU.
• 02Реализует предварительное обучение, SFT, LoRA, DPO, PPO, GRPO и CISPO непосредственно на PyTorch.
• 03Поддерживает вызов инструментов и переключение режима мышления через шаблон чата.
• 04Предоставляет совместимый с OpenAI API-сервер и чат-интерфейс Streamlit WebUI.
• 05Предлагает готовые датасеты и чекпойнты, а также экспорт в llama.cpp, vLLM и Ollama.

Сценарии использования

• Изучение полного цикла создания языковой модели на примере кода обучения, который можно читать и запускать.
• Воспроизведение небольшого пайплайна обучения LLM на одной GPU для исследований или преподавания.
• Эксперименты с методами RL-донастройки, такими как DPO, PPO и GRPO, на небольшой модели.
• Создание прототипов специализированного поведения с помощью обучения LoRA-адаптеров на собственных диалоговых данных.

Быстрый старт

1. 1

   Клонируйте репозиторий

   git clone --depth 1 https://github.com/jingyaogong/minimind
2. 2

   Установите зависимости

   cd minimind && pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple
3. 3

   Скачайте модель minimind-3

   modelscope download --model gongjy/minimind-3 --local_dir ./minimind-3
4. 4

   Запустите инференс с моделью через командную строку

   python eval_llm.py --load_from ./minimind-3

Что важно знать

• !Обучение с нуля рассчитано на одну GPU, а указанное в README время в 2 часа было измерено на NVIDIA 3090.
• !Модель очень мала (около 64 млн параметров), поэтому качество её результатов ограничено.
• !Токенизатор на 6 400 токенов сжимает китайский текст менее эффективно, чем более крупные токенизаторы, например Qwen2.

В подборках

Темы

Частые вопросы

Что такое minimind?

Компактный open-source проект по обучению LLM с нуля: на одной GPU примерно за 2 часа можно обучить языковую модель на 64 млн параметров. MiniMind — проект для обучения LLM с нуля на очень маленькой модели: около 64 млн параметров у плотной версии и примерно 198 млн всего (64 млн активных) у версии MoE. Проект охватывает весь пайплайн на PyTorch: обучение токенизатора, предварительное обучение, supervised fine-tuning, LoRA, DPO, PPO, GRPO, CISPO, вызов инструментов, адаптивное мышление и дистилляцию знаний. Основные алгоритмы реализованы непосредственно на PyTorch, а не обёрнуты в высокоуровневые библиотеки, поэтому код можно изучать и менять построчно.

minimind можно использовать бесплатно? Какая у него лицензия?

minimind распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

minimind всё ещё поддерживается?

Активно поддерживается. Последний коммит в minimind — 27 окт. 2026 г..

Для чего можно использовать minimind?

Изучение полного цикла создания языковой модели на примере кода обучения, который можно читать и запускать. Воспроизведение небольшого пайплайна обучения LLM на одной GPU для исследований или преподавания. Эксперименты с методами RL-донастройки, такими как DPO, PPO и GRPO, на небольшой модели. Создание прототипов специализированного поведения с помощью обучения LoRA-адаптеров на собственных диалоговых данных.

Как установить minimind?

Клонируйте репозиторий: git clone --depth 1 https://github.com/jingyaogong/minimind Установите зависимости: cd minimind && pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple Скачайте модель minimind-3: modelscope download --model gongjy/minimind-3 --local_dir ./minimind-3 Запустите инференс с моделью через командную строку: python eval_llm.py --load_from ./minimind-3

Где скачать minimind?

Исходный код и инструкции по установке — на GitHub: https://github.com/jingyaogong/minimind