OpenSenseNova/SenseNova-Vision

Что это?

Ключевые возможности

• 01Обрабатывает детекцию, OCR, ключевые точки, привязку элементов GUI к координатам, сегментацию, оценку глубины и нормалей в рамках одной модели.
• 02Принимает инструкции на естественном языке и визуальные подсказки, задающие задачу и формат результата.
• 03В зависимости от задачи выдаёт текст, изображение или сочетание текста и изображения.
• 04В комплект входят скрипты для инференса, веб-демо на Gradio и конвейер оценки по бенчмаркам.
• 05Предоставляет документацию по подготовке обучающих данных и конвейеру обучения.

Сценарии использования

• Запуск детекции с открытым словарём или сегментации по текстовым запросам с помощью одной модели.
• Извлечение текста из документов или скриншотов вместе с ограничивающими рамками.
• Оценка глубины и нормалей поверхности по отдельным изображениям.
• Восстановление мультиракурсных карт точек и поз камер для исследований в области 3D.

Быстрый старт

1. 1

   Клонируйте репозиторий

   git clone https://github.com/OpenSenseNova/SenseNova-Vision.git
2. 2

   Перейдите в каталог репозитория

   cd SenseNova-Vision
3. 3

   Создайте окружение с помощью скрипта настройки

   bash setup.sh sensenova-vision
4. 4

   Запустите отобранный пример

   bash scripts/run_sensenova_vision.sh example

Что важно знать

• !Веб-демо проверялось только на GPU с 80 ГБ памяти; GPU с меньшим объёмом памяти ещё не проверялись.
• !Для полного бенчмарка нужна как минимум одна машина с 8 GPU по 80 ГБ, а для обучения — не менее 2 таких машин.
• !Веса модели необходимо отдельно скачать с Hugging Face или ModelScope.

Темы

Частые вопросы

Что такое SenseNova-Vision?

Унифицированная мультимодальная модель для задач компьютерного зрения: детекции, OCR, сегментации, оценки глубины и мультиракурсной геометрии с генерацией текста и изображений. SenseNova-Vision представляет задачи компьютерного зрения как унифицированную мультимодальную генерацию. Вместо специализированных голов или декодеров одна модель принимает инструкции на естественном языке и необязательные визуальные подсказки, а затем отвечает текстом, изображением или сочетанием текста и изображения. Символьные результаты — например, рамки, точки, строки OCR, ключевые точки и параметры камеры — выдаются в виде текста, а плотные данные, такие как маски сегментации, карты глубины, нормали поверхности и мультиракурсные карты точек, — в виде изображений.

SenseNova-Vision можно использовать бесплатно? Какая у него лицензия?

SenseNova-Vision распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

SenseNova-Vision всё ещё поддерживается?

Обновлялся за последние 6 месяцев. Последний коммит в SenseNova-Vision — 1 сент. 2026 г..

Для чего можно использовать SenseNova-Vision?

Запуск детекции с открытым словарём или сегментации по текстовым запросам с помощью одной модели. Извлечение текста из документов или скриншотов вместе с ограничивающими рамками. Оценка глубины и нормалей поверхности по отдельным изображениям. Восстановление мультиракурсных карт точек и поз камер для исследований в области 3D.

Как установить SenseNova-Vision?

Клонируйте репозиторий: git clone https://github.com/OpenSenseNova/SenseNova-Vision.git Перейдите в каталог репозитория: cd SenseNova-Vision Создайте окружение с помощью скрипта настройки: bash setup.sh sensenova-vision Запустите отобранный пример: bash scripts/run_sensenova_vision.sh example

Где скачать SenseNova-Vision?

Исходный код и инструкции по установке — на GitHub: https://github.com/OpenSenseNova/SenseNova-Vision