OpenSenseNova/SenseNova-Vision

这是什么？

核心功能

• 01单一模型覆盖检测、OCR、关键点、GUI 定位、分割、深度和法线估计等任务。
• 02通过自然语言指令和可选视觉提示定义任务与输出格式。
• 03根据任务输出文本、图像或图文混合结果。
• 04提供推理脚本、Gradio 网页演示和基准评测流程。
• 05附带训练数据准备和训练流程说明。

适用场景

• 用文本提示在单一模型中完成开放词汇检测或指代分割。
• 从文档或截图中提取带边界框的文字。
• 从单张图像估计深度和表面法线。
• 为三维研究重建多视图点图并估计相机位姿。

快速上手

1. 1

   克隆仓库

   git clone https://github.com/OpenSenseNova/SenseNova-Vision.git
2. 2

   进入仓库目录

   cd SenseNova-Vision
3. 3

   使用安装脚本创建环境

   bash setup.sh sensenova-vision
4. 4

   运行内置示例

   bash scripts/run_sensenova_vision.sh example

使用前须知

• !网页演示仅在 80GB 显卡上验证过，显存更小的显卡尚未验证。
• !完整基准测试至少需要一台 8 x 80GB 显卡的机器，训练至少需要 2 台这样的机器。
• !模型权重需要另外从 Hugging Face 或 ModelScope 下载。

标签

常见问题

SenseNova-Vision 是什么？

一个统一的多模态模型，通过文本和图像生成完成检测、OCR、分割、深度估计和多视图几何等视觉任务。 SenseNova-Vision 将计算机视觉任务统一表述为多模态生成问题。模型不依赖针对特定任务的预测头或解码器，而是接收自然语言指令和可选的视觉提示，以文本、图像或图文混合的形式作答。框、点、OCR 文本、关键点和相机参数等结构化结果以文本输出，分割掩码、深度图、表面法线和多视图点图等稠密结果则以图像输出。

SenseNova-Vision 可以免费使用吗？用的什么许可证？

SenseNova-Vision 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

SenseNova-Vision 还在维护吗？

半年内有更新。SenseNova-Vision 最近一次提交是在 2026年9月1日。

SenseNova-Vision 适合用来做什么？

用文本提示在单一模型中完成开放词汇检测或指代分割。 从文档或截图中提取带边界框的文字。 从单张图像估计深度和表面法线。 为三维研究重建多视图点图并估计相机位姿。

SenseNova-Vision 怎么安装和运行？

克隆仓库: git clone https://github.com/OpenSenseNova/SenseNova-Vision.git 进入仓库目录: cd SenseNova-Vision 使用安装脚本创建环境: bash setup.sh sensenova-vision 运行内置示例: bash scripts/run_sensenova_vision.sh example

在哪里获取 SenseNova-Vision？

源代码和安装说明在 GitHub 上：https://github.com/OpenSenseNova/SenseNova-Vision