Repolode
Enviar
jingyaogong

jingyaogong/minimind-v

Um pequeno modelo de visão e linguagem open source, com cerca de 65 milhões de parâmetros, que pode ser treinado do zero em uma única GPU em aproximadamente duas horas.

Ver no GitHubSite
Estrelas
8,775
Forks
983
Issues abertas
22
Último commit
há 30 dias

O que é?

MiniMind-V é um pequeno modelo multimodal que combina um encoder de visão com um modelo de linguagem compacto para responder a perguntas sobre imagens. O projeto cobre todo o pipeline em PyTorch puro: estrutura do modelo, preparação dos dados, pré-treinamento e fine-tuning supervisionado, além de incluir inferência e uma WebUI.

O lado visual usa um encoder SigLIP2 mantido congelado, enquanto um projetor MLP mapeia seus 64 recursos de patches para o espaço de tokens do modelo de linguagem. O backbone de linguagem é inicializado a partir do modelo de texto MiniMind associado, e o fine-tuning atualiza apenas o projetor e as primeiras e últimas camadas do LLM. Entre as variantes disponíveis estão um modelo denso de 65M e uma versão de mistura de especialistas.

O repositório é voltado a quem quer aprender como modelos de visão e linguagem são construídos e oferece treinamento DDP em várias GPUs, precisão mista bfloat16, retomada de checkpoints e registro com wandb ou SwanLab. Os resultados são pouco refinados, com repetição perceptível e erros nos detalhes, por isso o projeto é mais adequado para experimentação do que para uso em produção.

Recursos principais

  • 01Treina do zero um VLM de 65M de parâmetros, com um fluxo de trabalho de SFT documentado para uma única GPU.
  • 02Usa um encoder de visão SigLIP2 congelado e um projetor MLP que mapeia 64 tokens de imagem para o LLM.
  • 03Oferece variantes de modelo densas e de mistura de especialistas.
  • 04Inclui scripts de preparação de dados para conjuntos de dados de imagem e texto em Parquet.
  • 05Oferece treinamento DDP em várias GPUs, bfloat16, retomada de checkpoints e registro com wandb ou SwanLab.
  • 06Inclui avaliação pela linha de comando e uma WebUI para conversar sobre imagens.

Casos de uso

  • Aprender como um modelo de visão e linguagem é composto por um encoder de visão, um projetor e um LLM.
  • Executar um pequeno experimento de treinamento multimodal em uma única GPU de consumo.
  • Criar protótipos de respostas a perguntas sobre imagens com uma base de código mínima e fácil de entender.
  • Usá-lo como base para adaptar um VLM pequeno a um conjunto de dados próprio de imagem e texto.

Tópicos

#vision-language-model#multimodal#pytorch#llm-training#small-models#siglip#image-captioning#artificial-intelligence#chatgpt

Perguntas frequentes

O que é minimind-v?
Um pequeno modelo de visão e linguagem open source, com cerca de 65 milhões de parâmetros, que pode ser treinado do zero em uma única GPU em aproximadamente duas horas. MiniMind-V é um pequeno modelo multimodal que combina um encoder de visão com um modelo de linguagem compacto para responder a perguntas sobre imagens. O projeto cobre todo o pipeline em PyTorch puro: estrutura do modelo, preparação dos dados, pré-treinamento e fine-tuning supervisionado, além de incluir inferência e uma WebUI.
minimind-v é gratuito? Qual é a licença?
minimind-v é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
minimind-v ainda é mantido?
Manutenção ativa. O último commit de minimind-v foi em 22 de set. de 2026.
Para que posso usar minimind-v?
Aprender como um modelo de visão e linguagem é composto por um encoder de visão, um projetor e um LLM. Executar um pequeno experimento de treinamento multimodal em uma única GPU de consumo. Criar protótipos de respostas a perguntas sobre imagens com uma base de código mínima e fácil de entender. Usá-lo como base para adaptar um VLM pequeno a um conjunto de dados próprio de imagem e texto.
Onde consigo minimind-v?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/jingyaogong/minimind-v

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados