Repolode
Enviar
OpenSenseNova

OpenSenseNova/SenseNova-Vision

Um modelo multimodal unificado que realiza tarefas de visão computacional, como detecção, OCR, segmentação, estimativa de profundidade e geometria multivista, por meio da geração de texto e imagens.

Ver no GitHub
Estrelas
717
Forks
42
Issues abertas
5
Último commit
há 2 meses

O que é?

O SenseNova-Vision reformula as tarefas de visão computacional como geração multimodal unificada. Em vez de usar heads ou decoders específicos para cada tarefa, um único modelo recebe instruções em linguagem natural e prompts visuais opcionais e responde com texto, imagem ou uma combinação dos dois. Resultados simbólicos, como caixas, pontos, textos de OCR, keypoints e parâmetros de câmera, são gerados como texto, enquanto resultados densos, como máscaras de segmentação, mapas de profundidade, normais de superfície e mapas de pontos multivista, são gerados como imagens.

O projeto inclui um modelo MoT de 7B disponibilizado no Hugging Face e no ModelScope, um ponto de entrada para inferência com modos para imagem única, uso interativo e demo web em Gradio, um pipeline de avaliação de benchmarks e código de treinamento. O SenseNova-Vision Corpus, um conjunto de dados de instrução e resposta com 50 milhões de amostras, também foi publicado. Os dados de treinamento são preparados convertendo anotações de CV existentes para esse formato.

A demo web foi validada em uma única GPU de 80 GB com BF16, enquanto o benchmark completo e o treinamento exigem configurações com várias GPUs.

Recursos principais

  • 01Realiza detecção, OCR, identificação de keypoints, grounding de elementos de GUI, segmentação, estimativa de profundidade e normais em um único modelo.
  • 02Aceita instruções em linguagem natural e prompts visuais para definir a tarefa e o formato da saída.
  • 03Gera respostas em texto, imagem ou uma combinação dos dois, conforme a tarefa.
  • 04Inclui scripts de inferência, uma demo web em Gradio e um pipeline de avaliação de benchmarks.
  • 05Disponibiliza documentação sobre preparação dos dados de treinamento e o pipeline de treinamento.

Casos de uso

  • Executar detecção de vocabulário aberto ou segmentação por referência com um único modelo e prompts de texto.
  • Extrair texto de documentos ou capturas de tela, incluindo caixas delimitadoras.
  • Estimar profundidade e normais de superfície a partir de imagens únicas.
  • Reconstruir mapas de pontos multivista e poses de câmera para pesquisa em 3D.

Início rápido

  1. 1

    Clone o repositório

    git clone https://github.com/OpenSenseNova/SenseNova-Vision.git
  2. 2

    Acesse o diretório do repositório

    cd SenseNova-Vision
  3. 3

    Crie o ambiente com o script de configuração

    bash setup.sh sensenova-vision
  4. 4

    Execute o exemplo selecionado

    bash scripts/run_sensenova_vision.sh example

Antes de usar

  • A demonstração web só foi validada em uma GPU de 80 GB; GPUs com menos memória ainda não foram validadas.
  • O benchmark completo requer pelo menos uma máquina com 8 GPUs de 80 GB, e o treinamento precisa de pelo menos 2 máquinas desse tipo.
  • Os pesos do modelo devem ser baixados separadamente do Hugging Face ou do ModelScope.

Tópicos

#multimodal#computer-vision#vision-language-model#segmentation#depth-estimation#ocr#object-detection#mllm#mllm-for-cv#unified-cv

Perguntas frequentes

O que é SenseNova-Vision?
Um modelo multimodal unificado que realiza tarefas de visão computacional, como detecção, OCR, segmentação, estimativa de profundidade e geometria multivista, por meio da geração de texto e imagens. O SenseNova-Vision reformula as tarefas de visão computacional como geração multimodal unificada. Em vez de usar heads ou decoders específicos para cada tarefa, um único modelo recebe instruções em linguagem natural e prompts visuais opcionais e responde com texto, imagem ou uma combinação dos dois. Resultados simbólicos, como caixas, pontos, textos de OCR, keypoints e parâmetros de câmera, são gerados como texto, enquanto resultados densos, como máscaras de segmentação, mapas de profundidade, normais de superfície e mapas de pontos multivista, são gerados como imagens.
SenseNova-Vision é gratuito? Qual é a licença?
SenseNova-Vision é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
SenseNova-Vision ainda é mantido?
Atualizado nos últimos 6 meses. O último commit de SenseNova-Vision foi em 1 de set. de 2026.
Para que posso usar SenseNova-Vision?
Executar detecção de vocabulário aberto ou segmentação por referência com um único modelo e prompts de texto. Extrair texto de documentos ou capturas de tela, incluindo caixas delimitadoras. Estimar profundidade e normais de superfície a partir de imagens únicas. Reconstruir mapas de pontos multivista e poses de câmera para pesquisa em 3D.
Como instalar SenseNova-Vision?
Clone o repositório: git clone https://github.com/OpenSenseNova/SenseNova-Vision.git Acesse o diretório do repositório: cd SenseNova-Vision Crie o ambiente com o script de configuração: bash setup.sh sensenova-vision Execute o exemplo selecionado: bash scripts/run_sensenova_vision.sh example
Onde consigo SenseNova-Vision?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/OpenSenseNova/SenseNova-Vision

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados