Repolode
Enviar
OpenSenseNova

OpenSenseNova/SenseNova-Vision

Un modelo multimodal unificado que realiza tareas de visión por computadora como detección, OCR, segmentación, estimación de profundidad y geometría multivista mediante generación de texto e imágenes.

Ver en GitHub
Estrellas
717
Forks
42
Issues abiertos
5
Último commit
hace 2 meses

¿Qué es?

SenseNova-Vision replantea las tareas de visión por computadora como generación multimodal unificada. En lugar de usar cabezales o decodificadores específicos para cada tarea, un único modelo recibe instrucciones en lenguaje natural y, de forma opcional, indicaciones visuales; luego responde con texto, una imagen o una combinación de ambos. Los resultados simbólicos, como cuadros, puntos, cadenas OCR, puntos clave y parámetros de cámara, se generan como texto; mientras que los resultados densos, como máscaras de segmentación, mapas de profundidad, normales de superficie y mapas de puntos multivista, se generan como imágenes.

El proyecto incluye un modelo MoT de 7B publicado en Hugging Face y ModelScope, un punto de entrada para inferencia con modos para una sola imagen, interactivo y de demostración web con Gradio, un pipeline de evaluación de benchmarks y código de entrenamiento. También se publica SenseNova-Vision Corpus, un conjunto de datos de 50 millones de muestras de instrucciones y respuestas. Los datos de entrenamiento se preparan convirtiendo anotaciones de CV existentes a este formato.

La demostración web se validó con una sola GPU de 80 GB en BF16, mientras que el benchmark completo y el entrenamiento requieren configuraciones con varias GPU.

Funciones clave

  • 01Realiza detección, OCR, identificación de puntos clave, grounding de interfaces gráficas, segmentación, estimación de profundidad y normales con un solo modelo.
  • 02Acepta instrucciones en lenguaje natural e indicaciones visuales para definir la tarea y el formato de salida.
  • 03Genera respuestas de texto, imágenes o una combinación de ambos, según la tarea.
  • 04Incluye scripts de inferencia, una demostración web con Gradio y un pipeline de evaluación de benchmarks.
  • 05Proporciona documentación sobre la preparación de datos y el pipeline de entrenamiento.

Casos de uso

  • Ejecutar detección de vocabulario abierto o segmentación referencial con un único modelo y prompts de texto.
  • Extraer texto de documentos o capturas de pantalla junto con sus cuadros delimitadores.
  • Estimar la profundidad y las normales de superficie a partir de imágenes individuales.
  • Reconstruir mapas de puntos multivista y poses de cámara para investigación en 3D.

Inicio rápido

  1. 1

    Clona el repositorio

    git clone https://github.com/OpenSenseNova/SenseNova-Vision.git
  2. 2

    Entra en el directorio del repositorio

    cd SenseNova-Vision
  3. 3

    Crea el entorno con el script de configuración

    bash setup.sh sensenova-vision
  4. 4

    Ejecuta el ejemplo seleccionado

    bash scripts/run_sensenova_vision.sh example

Antes de usarlo

  • La demo web solo se ha validado con una GPU de 80 GB; las GPU con menos memoria aún no se han validado.
  • El benchmark completo requiere al menos una máquina con 8 GPU de 80 GB, y el entrenamiento necesita al menos 2 máquinas de ese tipo.
  • Los pesos del modelo deben descargarse por separado desde Hugging Face o ModelScope.

Temas

#multimodal#computer-vision#vision-language-model#segmentation#depth-estimation#ocr#object-detection#mllm#mllm-for-cv#unified-cv

Preguntas frecuentes

¿Qué es SenseNova-Vision?
Un modelo multimodal unificado que realiza tareas de visión por computadora como detección, OCR, segmentación, estimación de profundidad y geometría multivista mediante generación de texto e imágenes. SenseNova-Vision replantea las tareas de visión por computadora como generación multimodal unificada. En lugar de usar cabezales o decodificadores específicos para cada tarea, un único modelo recibe instrucciones en lenguaje natural y, de forma opcional, indicaciones visuales; luego responde con texto, una imagen o una combinación de ambos. Los resultados simbólicos, como cuadros, puntos, cadenas OCR, puntos clave y parámetros de cámara, se generan como texto; mientras que los resultados densos, como máscaras de segmentación, mapas de profundidad, normales de superficie y mapas de puntos multivista, se generan como imágenes.
¿SenseNova-Vision es gratuito? ¿Qué licencia tiene?
SenseNova-Vision es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿SenseNova-Vision sigue mantenido?
Actualizado en los últimos 6 meses. El último commit de SenseNova-Vision fue el 1 sept 2026.
¿Para qué puedo usar SenseNova-Vision?
Ejecutar detección de vocabulario abierto o segmentación referencial con un único modelo y prompts de texto. Extraer texto de documentos o capturas de pantalla junto con sus cuadros delimitadores. Estimar la profundidad y las normales de superficie a partir de imágenes individuales. Reconstruir mapas de puntos multivista y poses de cámara para investigación en 3D.
¿Cómo se instala SenseNova-Vision?
Clona el repositorio: git clone https://github.com/OpenSenseNova/SenseNova-Vision.git Entra en el directorio del repositorio: cd SenseNova-Vision Crea el entorno con el script de configuración: bash setup.sh sensenova-vision Ejecuta el ejemplo seleccionado: bash scripts/run_sensenova_vision.sh example
¿Dónde consigo SenseNova-Vision?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/OpenSenseNova/SenseNova-Vision

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados