jingyaogong/minimind

这是什么？

核心功能

• 01可在单张消费级 GPU 上从零训练约 64M 参数的 Dense 模型及 MoE 变体。
• 02用 PyTorch 原生实现预训练、SFT、LoRA、DPO、PPO、GRPO 与 CISPO。
• 03通过 chat template 支持工具调用与可开关的思考模式。
• 04提供兼容 OpenAI 协议的 API 服务与 Streamlit 聊天界面。
• 05公开训练数据与权重，并支持导出到 llama.cpp、vLLM、Ollama 等推理引擎。

适用场景

• 通过阅读和运行训练代码，系统学习 LLM 从预训练到后训练的完整过程。
• 在单张 GPU 上复现小规模大模型训练流程，用于科研或教学。
• 在小模型上实验 DPO、PPO、GRPO 等强化学习后训练方法。
• 用自有对话数据训练 LoRA 适配器，快速验证垂直领域效果。

快速上手

1. 1

   克隆仓库

   git clone --depth 1 https://github.com/jingyaogong/minimind
2. 2

   安装依赖

   cd minimind && pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple
3. 3

   下载 minimind-3 模型

   modelscope download --model gongjy/minimind-3 --local_dir ./minimind-3
4. 4

   使用模型进行命令行推理

   python eval_llm.py --load_from ./minimind-3

使用前须知

• !从零训练按 README 的实测环境为单张 NVIDIA 3090，需要 GPU 资源。
• !模型规模很小（约 64M 参数），输出质量有限。
• !其 6,400 词表的分词器对中文的编解码效率低于 Qwen2 等更大的分词器。

收录于专题

标签

常见问题

minimind 是什么？

从零开始、约 2 小时即可在单卡上训练 64M 参数小语言模型的开源教程与训练框架。 MiniMind 是一个从零训练大语言模型的开源项目，主线 Dense 模型约 64M 参数，MoE 版本总参数约 198M、激活约 64M。项目用 PyTorch 原生实现 Tokenizer 训练、预训练、监督微调、LoRA、DPO、PPO、GRPO、CISPO、Tool Use、自适应思考和模型蒸馏等完整流程，核心算法不依赖高层封装，代码可以逐行阅读和修改。

minimind 可以免费使用吗？用的什么许可证？

minimind 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

minimind 还在维护吗？

活跃维护中。minimind 最近一次提交是在 2026年10月27日。

minimind 适合用来做什么？

通过阅读和运行训练代码，系统学习 LLM 从预训练到后训练的完整过程。 在单张 GPU 上复现小规模大模型训练流程，用于科研或教学。 在小模型上实验 DPO、PPO、GRPO 等强化学习后训练方法。 用自有对话数据训练 LoRA 适配器，快速验证垂直领域效果。

minimind 怎么安装和运行？

克隆仓库: git clone --depth 1 https://github.com/jingyaogong/minimind 安装依赖: cd minimind && pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple 下载 minimind-3 模型: modelscope download --model gongjy/minimind-3 --local_dir ./minimind-3 使用模型进行命令行推理: python eval_llm.py --load_from ./minimind-3

在哪里获取 minimind？

源代码和安装说明在 GitHub 上：https://github.com/jingyaogong/minimind