Repolode
OpenSenseNova

OpenSenseNova/SenseNova-U1

商汤 SenseNova 开源的原生统一多模态模型,在同一架构中完成图像理解、文生图与图像编辑。

可替代:MidjourneyAdobe Firefly

Star
6,911
Fork
532
未关闭 Issue
41
最近提交
19天前

这是什么?

SenseNova-U1 与 U1.5 是基于 NEO-unify 架构的多模态模型系列。该架构去掉了许多系统常用的独立视觉编码器和 VAE,使语言与视觉在同一模型内端到端处理。模型覆盖视觉问答、文生图、图文交错生成和图像编辑,并提供面向信息图和 8 步快速推理的专用权重。

仓库提供基于 Transformers 的推理示例,涵盖文生图、图像编辑、图文交错生成和视觉理解。同时支持 GGUF 量化推理以及分层卸载的显存模式,便于单卡部署。权重发布于 Hugging Face 和 ModelScope,并附带全参数微调的训练代码。

核心功能

  • 01同一模型支持图像理解、文生图和图像编辑
  • 02单次推理中原生生成图文交错内容
  • 03提供信息图专用版本,支持文字与版式编辑
  • 04提供 GGUF 量化权重和分层卸载模式,降低显存需求
  • 05包含全参数微调训练代码

适用场景

  • 生成文字清晰的中英文海报、信息图或设计稿
  • 用自然语言指令编辑图片,并保留未修改的区域
  • 生成图文并茂的分步教程
  • 借助量化权重在单张消费级显卡上运行多模态推理

快速上手

  1. 1

    安装 Python 依赖

  2. 2

    使用 Transformers 快速开始运行文生图示例

    python examples/t2i/inference.py --model_path sensenova/SenseNova-U1.5-8B-MoT --prompt "A formal portrait depicts a man in 18th-century attire seated with a scroll, wearing a red cloak and ornate medals, against a classical landscape with ancient ruins and inscriptions." --output output.png

使用前须知

  • 模型规模较大(80 亿参数),本地运行需要性能较好的 GPU,或使用量化的 GGUF 版本。
  • README 列出了已知问题,例如密集文字错误、人物细节不稳定以及颜色过饱和。

标签

常见问题

SenseNova-U1 是什么?
商汤 SenseNova 开源的原生统一多模态模型,在同一架构中完成图像理解、文生图与图像编辑。 SenseNova-U1 与 U1.5 是基于 NEO-unify 架构的多模态模型系列。该架构去掉了许多系统常用的独立视觉编码器和 VAE,使语言与视觉在同一模型内端到端处理。模型覆盖视觉问答、文生图、图文交错生成和图像编辑,并提供面向信息图和 8 步快速推理的专用权重。
SenseNova-U1 可以免费使用吗?用的什么许可证?
SenseNova-U1 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
SenseNova-U1 还在维护吗?
活跃维护中。SenseNova-U1 最近一次提交是在 2026年10月1日。
SenseNova-U1 适合用来做什么?
生成文字清晰的中英文海报、信息图或设计稿 用自然语言指令编辑图片,并保留未修改的区域 生成图文并茂的分步教程 借助量化权重在单张消费级显卡上运行多模态推理
SenseNova-U1 怎么安装和运行?
安装 Python 依赖 使用 Transformers 快速开始运行文生图示例: python examples/t2i/inference.py --model_path sensenova/SenseNova-U1.5-8B-MoT --prompt "A formal portrait depicts a man in 18th-century attire seated with a scroll, wearing a red cloak and ornate medals, against a classical landscape with ancient ruins and inscriptions." --output output.png
在哪里获取 SenseNova-U1?
源代码和安装说明在 GitHub 上:https://github.com/OpenSenseNova/SenseNova-U1

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目