OpenSenseNova/SenseNova-U1

これは何？

主な機能

• 01画像理解、テキストからの画像生成、画像編集を統合したモデル
• 02一連の処理でテキストと画像を交互に生成
• 03テキストやレイアウトの編集に対応したインフォグラフィック専用モデルのバリエーション
• 04低VRAMでの推論に使えるGGUF量子化チェックポイントとレイヤーオフロードモード
• 05全パラメーターのファインチューニング用トレーニングコード

ユースケース

• 読みやすい中国語・英語のテキストを含むポスター、インフォグラフィック、デザインの生成
• 未編集の領域を維持しながら、自然言語の指示で既存の画像を編集
• テキストと画像を組み合わせた、イラスト付きの手順解説を作成
• 量子化された重みを使い、一般向けGPU 1枚でマルチモーダル推論を実行

クイックスタート

1. 1

   Pythonの依存関係をインストールする

2. 2

   Transformersのクイックスタートを使って、テキストから画像を生成するサンプルを実行する

   python examples/t2i/inference.py --model_path sensenova/SenseNova-U1.5-8B-MoT --prompt "A formal portrait depicts a man in 18th-century attire seated with a scroll, wearing a red cloak and ornate medals, against a classical landscape with ancient ruins and inscriptions." --output output.png

使う前に知っておきたいこと

• !モデルは大規模（パラメーター数8B）のため、ローカルで実行するには高性能なGPUか、量子化されたGGUFチェックポイントが必要です。
• !READMEには、文字が密集した場合のエラー、人の細部の不安定さ、色の過度な飽和など、既知の問題が記載されています。

トピック

よくある質問

SenseNova-U1 とは？

画像理解、テキストからの画像生成、画像編集を一つのアーキテクチャで実現するSenseNovaのオープンソース統合マルチモーダルモデル。 SenseNova-U1とU1.5は、NEO-unifyアーキテクチャを採用したマルチモーダルモデルシリーズです。多くのシステムで使われる独立したビジュアルエンコーダーやVAEをなくし、言語と視覚をエンドツーエンドでモデル化します。視覚的な質問応答、テキストからの画像生成、テキストと画像を交互に出力する生成、画像編集に対応し、インフォグラフィック向けに調整されたチェックポイントや、8ステップの高速推論に対応したチェックポイントも用意されています。

SenseNova-U1 は無料で使えますか？ライセンスは？

SenseNova-U1 は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

SenseNova-U1 は今もメンテナンスされていますか？

活発にメンテナンス中。SenseNova-U1 の最終コミットは 2026年10月1日 です。

SenseNova-U1 は何に使えますか？

読みやすい中国語・英語のテキストを含むポスター、インフォグラフィック、デザインの生成 未編集の領域を維持しながら、自然言語の指示で既存の画像を編集 テキストと画像を組み合わせた、イラスト付きの手順解説を作成 量子化された重みを使い、一般向けGPU 1枚でマルチモーダル推論を実行

SenseNova-U1 のインストール方法は？

Pythonの依存関係をインストールする Transformersのクイックスタートを使って、テキストから画像を生成するサンプルを実行する: python examples/t2i/inference.py --model_path sensenova/SenseNova-U1.5-8B-MoT --prompt "A formal portrait depicts a man in 18th-century attire seated with a scroll, wearing a red cloak and ornate medals, against a classical landscape with ancient ruins and inscriptions." --output output.png

SenseNova-U1 はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/OpenSenseNova/SenseNova-U1