Repolode
Enviar
OpenBMB

OpenBMB/MiniCPM-V

Modelos multimodales de código abierto (MiniCPM-V 4.7 y MiniCPM-o 4.5) para comprender imágenes, videos, documentos y voz en hardware local y dispositivos.

Alternativa open source a:GPT-4oGemini

Ver en GitHub
Estrellas
26,892
Forks
2,111
Issues abiertos
64
Último commit
hace 4 días

¿Qué es?

MiniCPM-V y MiniCPM-o son familias de modelos de lenguaje grandes multimodales de código abierto desarrolladas por THUNLP y ModelBest. MiniCPM-V 4.7 permite comprender imágenes, varias imágenes, documentos y videos, y está disponible en una variante MoE de 35B-A3B y otra de 1B. MiniCPM-o 4.5 es un modelo omnimodal end-to-end de 9B que recibe flujos de video y audio mientras genera voz y texto, y admite conversaciones full-duplex en tiempo real.

El proyecto está pensado para ejecutar estos modelos en hardware local y teléfonos. Describe la inferencia de MoE en el dispositivo mediante pesos de expertos almacenados en SSD y Lookahead Expert Scheduling, y ofrece pesos cuantizados en formatos BF16, FP8, int4, AWQ, GPTQ y GGUF. La implementación está cubierta para iOS, Android y HarmonyOS, así como para varias plataformas de chips, entre ellas Intel, AMD, Arm, Rockchip y Houmo.

Los pesos de los modelos están publicados en Hugging Face y ModelScope, y también hay una versión en Ollama y una API. El repositorio incluye además instrucciones para el ajuste fino, con Self-Replay Fine-Tuning para ampliar las capacidades y limitar el olvido.

Funciones clave

  • 01Comprensión de imágenes, varias imágenes, documentos y videos con MiniCPM-V 4.7.
  • 02Interacción full-duplex en tiempo real con voz y video mediante MiniCPM-o 4.5.
  • 03Variantes MoE de 35B-A3B y de 1B, con optimizaciones para la inferencia en el dispositivo.
  • 04Pesos cuantizados en formatos int4, FP8, AWQ, GPTQ y GGUF.
  • 05Implementación en iOS, Android, HarmonyOS y varias plataformas de chips Intel, AMD, Arm y Rockchip.
  • 06Acceso mediante Hugging Face, ModelScope, Ollama y API.

Casos de uso

  • Ejecutar un modelo de visión y lenguaje en un teléfono o una laptop sin enviar datos a la nube.
  • Incorporar funciones de preguntas y respuestas sobre documentos o imágenes en una aplicación local.
  • Crear asistentes de voz y video en tiempo real que puedan hablar mientras observan un flujo.
  • Ajustar un modelo multimodal para añadir capacidades nuevas y reducir el olvido de las existentes.

Inicio rápido

  1. 1

    Obtén los pesos del modelo desde Hugging Face, ModelScope u Ollama (enlaces en la tabla Model Weights).

  2. 2

    Consulta la sección get-started del README para ver las instrucciones de ejecución.

Antes de usarlo

  • La variante 35B-A3B es grande y requiere mucha memoria; además, para usarla en el dispositivo se necesita descargar los expertos en el SSD.
  • El fragmento del README no muestra ningún comando directo para instalar el paquete, por lo que la configuración depende de las páginas del modelo y la documentación enlazadas.

Temas

#multimodal#vision-language-model#on-device-ai#speech#llm#moe#fine-tuning#ollama#minicpm#minicpm-o

Preguntas frecuentes

¿Qué es MiniCPM-V?
Modelos multimodales de código abierto (MiniCPM-V 4.7 y MiniCPM-o 4.5) para comprender imágenes, videos, documentos y voz en hardware local y dispositivos. MiniCPM-V y MiniCPM-o son familias de modelos de lenguaje grandes multimodales de código abierto desarrolladas por THUNLP y ModelBest. MiniCPM-V 4.7 permite comprender imágenes, varias imágenes, documentos y videos, y está disponible en una variante MoE de 35B-A3B y otra de 1B. MiniCPM-o 4.5 es un modelo omnimodal end-to-end de 9B que recibe flujos de video y audio mientras genera voz y texto, y admite conversaciones full-duplex en tiempo real.
¿MiniCPM-V es gratuito? ¿Qué licencia tiene?
MiniCPM-V es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿MiniCPM-V sigue mantenido?
Mantenimiento activo. El último commit de MiniCPM-V fue el 16 oct 2026.
¿Para qué puedo usar MiniCPM-V?
Ejecutar un modelo de visión y lenguaje en un teléfono o una laptop sin enviar datos a la nube. Incorporar funciones de preguntas y respuestas sobre documentos o imágenes en una aplicación local. Crear asistentes de voz y video en tiempo real que puedan hablar mientras observan un flujo. Ajustar un modelo multimodal para añadir capacidades nuevas y reducir el olvido de las existentes.
¿Cómo se instala MiniCPM-V?
Obtén los pesos del modelo desde Hugging Face, ModelScope u Ollama (enlaces en la tabla Model Weights). Consulta la sección get-started del README para ver las instrucciones de ejecución.
¿Dónde consigo MiniCPM-V?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/OpenBMB/MiniCPM-V

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados