Repolode
제출하기
OpenSenseNova

OpenSenseNova/SenseNova-Vision

텍스트·이미지 생성을 통해 다양한 컴퓨터 비전 작업을 수행하는 통합 멀티모달 모델입니다.

GitHub에서 보기
스타
717
포크
42
열린 이슈
5
마지막 커밋
2개월 전

어떤 프로젝트인가요?

SenseNova-Vision은 컴퓨터 비전 작업을 통합 멀티모달 생성 문제로 재구성합니다. 작업별 헤드나 디코더를 사용하는 대신, 하나의 모델이 자연어 지시와 선택적 시각 프롬프트를 입력받아 텍스트, 이미지 또는 텍스트와 이미지가 섞인 결과를 출력합니다. 박스, 점, OCR 문자열, 키포인트, 카메라 파라미터 같은 기호적 결과는 텍스트로 생성하고, 세그멘테이션 마스크, 깊이 맵, 표면 법선, 멀티뷰 포인트 맵 같은 조밀한 결과는 이미지로 생성합니다.

프로젝트에는 Hugging Face와 ModelScope에 공개된 7B MoT 모델, 단일 이미지·대화형·Gradio 웹 데모 모드를 지원하는 추론 진입점, 벤치마크 평가 파이프라인, 학습 코드가 포함되어 있습니다. 5천만 개의 샘플로 구성된 지시-응답 데이터셋 SenseNova-Vision Corpus도 공개되어 있으며, 기존 CV 어노테이션을 이 형식으로 변환해 학습 데이터를 구축합니다.

웹 데모는 단일 80GB GPU에서 BF16으로 검증되었으며, 전체 벤치마크와 학습에는 멀티 GPU 환경이 필요합니다.

핵심 기능

  • 01하나의 모델로 디텍션, OCR, 키포인트, GUI grounding, 세그멘테이션, 깊이 추정, 표면 법선 추정을 수행합니다.
  • 02자연어 지시와 시각 프롬프트를 입력해 작업과 출력 형식을 지정할 수 있습니다.
  • 03작업에 따라 텍스트, 이미지 또는 텍스트와 이미지가 섞인 결과를 생성합니다.
  • 04추론 스크립트, Gradio 웹 데모, 벤치마크 평가 파이프라인을 제공합니다.
  • 05학습 데이터 준비 및 학습 파이프라인 문서를 제공합니다.

활용 사례

  • 하나의 모델과 텍스트 프롬프트로 오픈 보캐뷸러리 디텍션이나 참조 세그멘테이션을 수행합니다.
  • 문서나 스크린샷에서 바운딩 박스와 함께 텍스트를 추출합니다.
  • 단일 이미지에서 깊이와 표면 법선을 추정합니다.
  • 3D 연구를 위해 멀티뷰 포인트 맵과 카메라 포즈를 재구성합니다.

빠른 시작

  1. 1

    리포지토리를 클론합니다

    git clone https://github.com/OpenSenseNova/SenseNova-Vision.git
  2. 2

    리포지토리 디렉터리로 이동합니다

    cd SenseNova-Vision
  3. 3

    설정 스크립트로 환경을 생성합니다

    bash setup.sh sensenova-vision
  4. 4

    엄선된 예제를 실행합니다

    bash scripts/run_sensenova_vision.sh example

사용 전 알아둘 점

  • 웹 데모는 80GB GPU에서만 검증되었습니다. 메모리가 더 적은 GPU는 아직 검증되지 않았습니다.
  • 전체 벤치마크를 실행하려면 80GB GPU 8개를 탑재한 머신이 최소 1대 필요하며, 학습에는 이러한 머신이 최소 2대 필요합니다.
  • 모델 가중치는 Hugging Face 또는 ModelScope에서 별도로 다운로드해야 합니다.

토픽

#multimodal#computer-vision#vision-language-model#segmentation#depth-estimation#ocr#object-detection#mllm#mllm-for-cv#unified-cv

자주 묻는 질문

SenseNova-Vision은(는) 무엇인가요?
텍스트·이미지 생성을 통해 다양한 컴퓨터 비전 작업을 수행하는 통합 멀티모달 모델입니다. SenseNova-Vision은 컴퓨터 비전 작업을 통합 멀티모달 생성 문제로 재구성합니다. 작업별 헤드나 디코더를 사용하는 대신, 하나의 모델이 자연어 지시와 선택적 시각 프롬프트를 입력받아 텍스트, 이미지 또는 텍스트와 이미지가 섞인 결과를 출력합니다. 박스, 점, OCR 문자열, 키포인트, 카메라 파라미터 같은 기호적 결과는 텍스트로 생성하고, 세그멘테이션 마스크, 깊이 맵, 표면 법선, 멀티뷰 포인트 맵 같은 조밀한 결과는 이미지로 생성합니다.
SenseNova-Vision은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
SenseNova-Vision은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
SenseNova-Vision은(는) 아직 유지보수되고 있나요?
6개월 이내 업데이트. SenseNova-Vision의 마지막 커밋은 2026년 9월 1일입니다.
SenseNova-Vision은(는) 어디에 사용할 수 있나요?
하나의 모델과 텍스트 프롬프트로 오픈 보캐뷸러리 디텍션이나 참조 세그멘테이션을 수행합니다. 문서나 스크린샷에서 바운딩 박스와 함께 텍스트를 추출합니다. 단일 이미지에서 깊이와 표면 법선을 추정합니다. 3D 연구를 위해 멀티뷰 포인트 맵과 카메라 포즈를 재구성합니다.
SenseNova-Vision는 어떻게 설치하나요?
리포지토리를 클론합니다: git clone https://github.com/OpenSenseNova/SenseNova-Vision.git 리포지토리 디렉터리로 이동합니다: cd SenseNova-Vision 설정 스크립트로 환경을 생성합니다: bash setup.sh sensenova-vision 엄선된 예제를 실행합니다: bash scripts/run_sensenova_vision.sh example
SenseNova-Vision은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/OpenSenseNova/SenseNova-Vision

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트