面向高分辨率图像与视频生成的开源代码库,基于线性扩散 Transformer,提供训练与推理流程。
9407753PythonApache-2.0更新于 4小时前
商汤 SenseNova 开源的原生统一多模态模型,在同一架构中完成图像理解、文生图与图像编辑。
SenseNova-U1 与 U1.5 是基于 NEO-unify 架构的多模态模型系列。该架构去掉了许多系统常用的独立视觉编码器和 VAE,使语言与视觉在同一模型内端到端处理。模型覆盖视觉问答、文生图、图文交错生成和图像编辑,并提供面向信息图和 8 步快速推理的专用权重。
仓库提供基于 Transformers 的推理示例,涵盖文生图、图像编辑、图文交错生成和视觉理解。同时支持 GGUF 量化推理以及分层卸载的显存模式,便于单卡部署。权重发布于 Hugging Face 和 ModelScope,并附带全参数微调的训练代码。
安装 Python 依赖
使用 Transformers 快速开始运行文生图示例
python examples/t2i/inference.py --model_path sensenova/SenseNova-U1.5-8B-MoT --prompt "A formal portrait depicts a man in 18th-century attire seated with a scroll, wearing a red cloak and ornate medals, against a classical landscape with ancient ruins and inscriptions." --output output.png概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
面向高分辨率图像与视频生成的开源代码库,基于线性扩散 Transformer,提供训练与推理流程。
一个开源医疗视觉-语言模型,可处理医学文本、2D图像、3D体数据和手术视频,训练数据全部公开。
自托管的 OpenAI 兼容 AI 引擎,可在任意硬件(含纯 CPU)上运行大模型、视觉、语音、图像和视频模型。
ArtCraft 是一款桌面端 AI 图像与视频创作 IDE,结合 2D 合成、3D 场景搭建和多家模型接入。
基于网页界面的 AI 图像创作引擎,支持 Stable Diffusion 等多种模型,提供统一画布与节点工作流。
开源多模态模型系列(MiniCPM-V 4.7 与 MiniCPM-o 4.5),可在本地与端侧设备上理解图像、视频、文档和语音。