jingyaogong/minimind

O que é?

Recursos principais

• 01Treina do zero, em uma única GPU de consumo, um modelo denso com cerca de 64 milhões de parâmetros e uma variante MoE.
• 02Implementa pré-treinamento, SFT, LoRA, DPO, PPO, GRPO e CISPO diretamente em PyTorch.
• 03Oferece suporte a chamadas de ferramentas e à alternância do modo de pensamento pelo template de chat.
• 04Disponibiliza um servidor de API compatível com OpenAI e uma WebUI de chat em Streamlit.
• 05Oferece datasets e checkpoints publicados, além de opções para exportar para llama.cpp, vLLM e Ollama.

Casos de uso

• Aprender como um modelo de linguagem é construído de ponta a ponta lendo e executando o código de treinamento.
• Reproduzir um pipeline de treinamento de LLM em pequena escala, em uma única GPU, para pesquisa ou ensino.
• Experimentar métodos de pós-treinamento com RL, como DPO, PPO e GRPO, em um modelo pequeno.
• Prototipar comportamentos específicos de um domínio treinando adaptadores LoRA com seus próprios dados de diálogo.

Início rápido

1. 1

   Clone o repositório

   git clone --depth 1 https://github.com/jingyaogong/minimind
2. 2

   Instale as dependências

   cd minimind && pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple
3. 3

   Baixe o modelo minimind-3

   modelscope download --model gongjy/minimind-3 --local_dir ./minimind-3
4. 4

   Execute inferências pela linha de comando com o modelo

   python eval_llm.py --load_from ./minimind-3

Antes de usar

• !O treinamento do zero foi projetado para uma única GPU, e o tempo de 2 horas mencionado no README foi medido em uma NVIDIA 3090.
• !O modelo é muito pequeno (cerca de 64 milhões de parâmetros), então a qualidade dos resultados é limitada.
• !Seu tokenizador de 6.400 tokens comprime textos em chinês com menos eficiência do que tokenizadores maiores, como o do Qwen2.

Em coleções

Tópicos

Perguntas frequentes

O que é minimind?

Um projeto open source de LLM ultracompacto que ensina a treinar do zero um modelo de linguagem com 64 milhões de parâmetros em cerca de 2 horas, usando uma única GPU. MiniMind é um projeto para treinar LLMs do zero com um modelo muito pequeno: cerca de 64 milhões de parâmetros na versão densa e aproximadamente 198 milhões no total (64 milhões ativos) na versão MoE. Ele cobre todo o pipeline em PyTorch: treinamento de tokenizer, pré-treinamento, ajuste fino supervisionado, LoRA, DPO, PPO, GRPO, CISPO, chamadas de ferramentas, pensamento adaptativo e destilação de conhecimento. Os algoritmos centrais são implementados diretamente, em vez de encapsulados em bibliotecas de alto nível, então é possível ler e modificar o código linha por linha.

minimind é gratuito? Qual é a licença?

minimind é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.

minimind ainda é mantido?

Manutenção ativa. O último commit de minimind foi em 27 de out. de 2026.

Para que posso usar minimind?

Aprender como um modelo de linguagem é construído de ponta a ponta lendo e executando o código de treinamento. Reproduzir um pipeline de treinamento de LLM em pequena escala, em uma única GPU, para pesquisa ou ensino. Experimentar métodos de pós-treinamento com RL, como DPO, PPO e GRPO, em um modelo pequeno. Prototipar comportamentos específicos de um domínio treinando adaptadores LoRA com seus próprios dados de diálogo.

Como instalar minimind?

Clone o repositório: git clone --depth 1 https://github.com/jingyaogong/minimind Instale as dependências: cd minimind && pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple Baixe o modelo minimind-3: modelscope download --model gongjy/minimind-3 --local_dir ./minimind-3 Execute inferências pela linha de comando com o modelo: python eval_llm.py --load_from ./minimind-3

Onde consigo minimind?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/jingyaogong/minimind