Repolode
Предложить
OpenBMB

OpenBMB/MiniCPM-V

Открытые мультимодальные модели (MiniCPM-V 4.7 и MiniCPM-o 4.5) для работы с изображениями, видео, документами и речью на локальных устройствах.

Open source альтернатива:GPT-4oGemini

Открыть на GitHub
Звёзды
26,892
Форки
2,111
Открытые issues
64
Последний коммит
4 дня назад

Что это?

MiniCPM-V и MiniCPM-o — семейства открытых мультимодальных больших языковых моделей от THUNLP и ModelBest. MiniCPM-V 4.7 умеет работать с изображениями, несколькими изображениями, документами и видео; доступны варианты 35B-A3B с архитектурой mixture-of-experts и 1B. MiniCPM-o 4.5 — сквозная омнимодальная модель на 9B, которая принимает потоки видео и аудио и одновременно генерирует речь и текст, поддерживая полно-дуплексный диалог в реальном времени.

Модели рассчитаны на запуск на локальном оборудовании и телефонах. В проекте описан on-device-инференс MoE с весами экспертов на SSD и Lookahead Expert Scheduling, а также опубликованы квантованные веса в форматах BF16, FP8, int4, AWQ, GPTQ и GGUF. Рассматривается развёртывание на iOS, Android и HarmonyOS, а также на платформах с чипами Intel, AMD, Arm, Rockchip и Houmo.

Веса моделей опубликованы на Hugging Face и ModelScope; также доступны Ollama listing и API. В репозитории есть рекомендации по fine-tuning, в том числе Self-Replay Fine-Tuning — метод расширения возможностей модели с ограничением забывания.

Ключевые возможности

  • 01Работа с изображениями, несколькими изображениями, документами и видео с помощью MiniCPM-V 4.7.
  • 02Полно-дуплексное взаимодействие с речью и видео в реальном времени с помощью MiniCPM-o 4.5.
  • 03Варианты 35B-A3B MoE и 1B с оптимизациями для on-device-инференса.
  • 04Квантованные веса в форматах int4, FP8, AWQ, GPTQ и GGUF.
  • 05Развёртывание на iOS, Android, HarmonyOS и нескольких платформах с чипами Intel, AMD, Arm и Rockchip.
  • 06Доступ через Hugging Face, ModelScope, Ollama и API.

Сценарии использования

  • Запуск vision-language-модели на телефоне или ноутбуке без отправки данных в облако.
  • Добавление в локальное приложение функций ответов на вопросы по документам или изображениям.
  • Создание голосовых и видеоассистентов, которые могут говорить, одновременно просматривая видеопоток.
  • Fine-tuning мультимодальной модели для добавления новых возможностей с меньшим риском утраты уже имеющихся.

Быстрый старт

  1. 1

    Получите веса модели на Hugging Face, ModelScope или Ollama (ссылки приведены в таблице Model Weights).

  2. 2

    Инструкции по запуску см. в разделе get-started файла README.

Что важно знать

  • Вариант 35B-A3B имеет большой размер и требует значительного объёма памяти; для использования на устройстве необходимо выгружать экспертов на SSD.
  • В приведённом фрагменте README нет прямой команды для установки пакета, поэтому настройка зависит от ссылок на страницы модели и документацию.

Темы

#multimodal#vision-language-model#on-device-ai#speech#llm#moe#fine-tuning#ollama#minicpm#minicpm-o

Частые вопросы

Что такое MiniCPM-V?
Открытые мультимодальные модели (MiniCPM-V 4.7 и MiniCPM-o 4.5) для работы с изображениями, видео, документами и речью на локальных устройствах. MiniCPM-V и MiniCPM-o — семейства открытых мультимодальных больших языковых моделей от THUNLP и ModelBest. MiniCPM-V 4.7 умеет работать с изображениями, несколькими изображениями, документами и видео; доступны варианты 35B-A3B с архитектурой mixture-of-experts и 1B. MiniCPM-o 4.5 — сквозная омнимодальная модель на 9B, которая принимает потоки видео и аудио и одновременно генерирует речь и текст, поддерживая полно-дуплексный диалог в реальном времени.
MiniCPM-V можно использовать бесплатно? Какая у него лицензия?
MiniCPM-V распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
MiniCPM-V всё ещё поддерживается?
Активно поддерживается. Последний коммит в MiniCPM-V — 16 окт. 2026 г..
Для чего можно использовать MiniCPM-V?
Запуск vision-language-модели на телефоне или ноутбуке без отправки данных в облако. Добавление в локальное приложение функций ответов на вопросы по документам или изображениям. Создание голосовых и видеоассистентов, которые могут говорить, одновременно просматривая видеопоток. Fine-tuning мультимодальной модели для добавления новых возможностей с меньшим риском утраты уже имеющихся.
Как установить MiniCPM-V?
Получите веса модели на Hugging Face, ModelScope или Ollama (ссылки приведены в таблице Model Weights). Инструкции по запуску см. в разделе get-started файла README.
Где скачать MiniCPM-V?
Исходный код и инструкции по установке — на GitHub: https://github.com/OpenBMB/MiniCPM-V

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Taichu-AI / ZDTaichu5.0-9B

Мультимодальная модель с открытыми весами и 9 млрд параметров для визуального понимания, пространственных рассуждений, использования инструментов и исследований embodied AI, построенная на Qwen3.5 и C-RADIOv4-H.

ИИ и машинное обучение#multimodal#vision-language-model#llm
3,1 тыс.540PythonApache-2.0Обновлён в прошлом месяце

EvolvingLMMs-Lab / NEO

NEO — семейство нативных моделей для работы с изображениями и текстом, которые обрабатывают пиксели и слова в единой плотной архитектуре без энкодера, с кодом для обучения и оценки.

ИИ и машинное обучение#vision-language-model#multimodal#encoder-free
90433PythonApache-2.0Обновлён 3 месяца назад