Repolode
Enviar
OpenBMB

OpenBMB/MiniCPM-V

Modelos multimodais de código aberto (MiniCPM-V 4.7 e MiniCPM-o 4.5) para entender imagens, vídeos, documentos e fala em hardware local e dispositivos móveis.

Alternativa open source a:GPT-4oGemini

Ver no GitHub
Estrelas
26,892
Forks
2,111
Issues abertas
64
Último commit
há 4 dias

O que é?

MiniCPM-V e MiniCPM-o são famílias de modelos de linguagem multimodais de código aberto desenvolvidas pela THUNLP e pela ModelBest. O MiniCPM-V 4.7 entende imagens, várias imagens, documentos e vídeos, e está disponível em uma variante mixture-of-experts 35B-A3B e outra de 1B. O MiniCPM-o 4.5 é um modelo omnimodal end-to-end de 9B que recebe fluxos de vídeo e áudio enquanto gera fala e texto, com suporte a conversas full-duplex em tempo real.

O projeto tem como objetivo executar esses modelos em hardware local e celulares. Ele descreve a inferência MoE no dispositivo usando pesos de especialistas armazenados em SSD e Lookahead Expert Scheduling, além de oferecer pesos quantizados nos formatos BF16, FP8, int4, AWQ, GPTQ e GGUF. O projeto aborda a implantação em iOS, Android e HarmonyOS, além de várias plataformas de chips, incluindo Intel, AMD, Arm, Rockchip e Houmo.

Os pesos dos modelos estão disponíveis no Hugging Face e no ModelScope, além de uma listagem no Ollama e uma API. O repositório também inclui orientações para fine-tuning, com Self-Replay Fine-Tuning para ampliar as capacidades e limitar o esquecimento.

Recursos principais

  • 01Entendimento de imagens, várias imagens, documentos e vídeos com o MiniCPM-V 4.7.
  • 02Interação full-duplex em tempo real por voz e vídeo com o MiniCPM-o 4.5.
  • 03Variantes MoE 35B-A3B e 1B, com otimizações para inferência no dispositivo.
  • 04Pesos quantizados nos formatos int4, FP8, AWQ, GPTQ e GGUF.
  • 05Implantação em iOS, Android, HarmonyOS e várias plataformas de chips Intel, AMD, Arm e Rockchip.
  • 06Acesso pelo Hugging Face, ModelScope e Ollama, além de uma API.

Casos de uso

  • Executar um modelo de visão e linguagem em um celular ou laptop sem enviar dados para a nuvem.
  • Incorporar recursos locais de perguntas e respostas sobre documentos ou imagens a um aplicativo.
  • Criar assistentes de voz e vídeo em tempo real que falam enquanto acompanham uma transmissão.
  • Fazer fine-tuning de um modelo multimodal para adicionar novas capacidades com menos esquecimento das existentes.

Início rápido

  1. 1

    Obtenha os pesos do modelo no Hugging Face, ModelScope ou Ollama (links na tabela Model Weights).

  2. 2

    Consulte a seção get-started do README para ver as instruções de execução.

Antes de usar

  • A variante 35B-A3B é grande e requer bastante memória; além disso, o uso no dispositivo depende do offloading de especialistas para o SSD.
  • O trecho do README não mostra um comando direto para instalar o pacote, então a configuração depende das páginas do modelo e da documentação vinculadas.

Tópicos

#multimodal#vision-language-model#on-device-ai#speech#llm#moe#fine-tuning#ollama#minicpm#minicpm-o

Perguntas frequentes

O que é MiniCPM-V?
Modelos multimodais de código aberto (MiniCPM-V 4.7 e MiniCPM-o 4.5) para entender imagens, vídeos, documentos e fala em hardware local e dispositivos móveis. MiniCPM-V e MiniCPM-o são famílias de modelos de linguagem multimodais de código aberto desenvolvidas pela THUNLP e pela ModelBest. O MiniCPM-V 4.7 entende imagens, várias imagens, documentos e vídeos, e está disponível em uma variante mixture-of-experts 35B-A3B e outra de 1B. O MiniCPM-o 4.5 é um modelo omnimodal end-to-end de 9B que recebe fluxos de vídeo e áudio enquanto gera fala e texto, com suporte a conversas full-duplex em tempo real.
MiniCPM-V é gratuito? Qual é a licença?
MiniCPM-V é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
MiniCPM-V ainda é mantido?
Manutenção ativa. O último commit de MiniCPM-V foi em 16 de out. de 2026.
Para que posso usar MiniCPM-V?
Executar um modelo de visão e linguagem em um celular ou laptop sem enviar dados para a nuvem. Incorporar recursos locais de perguntas e respostas sobre documentos ou imagens a um aplicativo. Criar assistentes de voz e vídeo em tempo real que falam enquanto acompanham uma transmissão. Fazer fine-tuning de um modelo multimodal para adicionar novas capacidades com menos esquecimento das existentes.
Como instalar MiniCPM-V?
Obtenha os pesos do modelo no Hugging Face, ModelScope ou Ollama (links na tabela Model Weights). Consulte a seção get-started do README para ver as instruções de execução.
Onde consigo MiniCPM-V?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/OpenBMB/MiniCPM-V

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados