OpenSenseNova/SenseNova-Vision

これは何？

主な機能

• 01検出、OCR、キーポイント、GUIグラウンディング、セグメンテーション、深度推定、サーフェスノーマルを単一モデルで処理します。
• 02自然言語の指示と視覚プロンプトを使って、タスクと出力形式を指定できます。
• 03タスクに応じて、テキスト、画像、またはテキストと画像を組み合わせた応答を生成します。
• 04推論スクリプト、Gradio Webデモ、ベンチマーク評価パイプラインが用意されています。
• 05学習データの準備方法と学習パイプラインのドキュメントを提供します。

ユースケース

• 単一モデルとテキストプロンプトで、オープン語彙検出や参照セグメンテーションを実行する。
• 文書やスクリーンショットから、バウンディングボックス付きでテキストを抽出する。
• 単一画像から深度とサーフェスノーマルを推定する。
• 3D研究向けに、マルチビューの点群マップとカメラ姿勢を再構築する。

クイックスタート

1. 1

   リポジトリをクローンする

   git clone https://github.com/OpenSenseNova/SenseNova-Vision.git
2. 2

   リポジトリのディレクトリに移動する

   cd SenseNova-Vision
3. 3

   セットアップスクリプトで環境を作成する

   bash setup.sh sensenova-vision
4. 4

   厳選されたサンプルを実行する

   bash scripts/run_sensenova_vision.sh example

使う前に知っておきたいこと

• !Webデモの検証に使用したのは80GB GPUのみです。メモリ容量がそれより少ないGPUでは、まだ検証されていません。
• !ベンチマーク全体の実行には、80GB GPUを8基搭載したマシンが少なくとも1台必要です。トレーニングには、そのようなマシンが少なくとも2台必要です。
• !モデルの重みは、Hugging FaceまたはModelScopeから別途ダウンロードする必要があります。

トピック

よくある質問

SenseNova-Vision とは？

検出、OCR、セグメンテーション、深度推定、マルチビュー幾何などのCVタスクを、テキストと画像の生成で扱う統合型マルチモーダルモデル。 SenseNova-Visionは、コンピュータビジョンのタスクを統合型マルチモーダル生成として捉え直します。タスクごとのヘッドやデコーダーを使うのではなく、単一のモデルが自然言語の指示と任意の視覚プロンプトを受け取り、テキスト、画像、またはテキストと画像を組み合わせた出力を返します。ボックス、点、OCR文字列、キーポイント、カメラパラメーターなどの記号的な結果はテキストで出力し、セグメンテーションマスク、深度マップ、サーフェスノーマル、マルチビューの点群マップなどの密な出力は画像で生成します。

SenseNova-Vision は無料で使えますか？ライセンスは？

SenseNova-Vision は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

SenseNova-Vision は今もメンテナンスされていますか？

半年以内に更新あり。SenseNova-Vision の最終コミットは 2026年9月1日 です。

SenseNova-Vision は何に使えますか？

単一モデルとテキストプロンプトで、オープン語彙検出や参照セグメンテーションを実行する。 文書やスクリーンショットから、バウンディングボックス付きでテキストを抽出する。 単一画像から深度とサーフェスノーマルを推定する。 3D研究向けに、マルチビューの点群マップとカメラ姿勢を再構築する。

SenseNova-Vision のインストール方法は？

リポジトリをクローンする: git clone https://github.com/OpenSenseNova/SenseNova-Vision.git リポジトリのディレクトリに移動する: cd SenseNova-Vision セットアップスクリプトで環境を作成する: bash setup.sh sensenova-vision 厳選されたサンプルを実行する: bash scripts/run_sensenova_vision.sh example

SenseNova-Vision はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/OpenSenseNova/SenseNova-Vision