Repolode
Taichu-AI

Taichu-AI/ZDTaichu5.0-9B

Qwen3.5とC-RADIOv4-Hを基盤とする、視覚理解・空間推論・ツール利用・身体性AI研究向けの90億パラメータのオープンウェイトマルチモーダルモデル。

代替できる製品:GPT-4V

スター
3,076
フォーク
540
未解決の Issue
3
最終コミット
先月

これは何?

ZDTaichu5.0-9Bは、テキスト、1枚以上の画像、動画を入力でき、任意の解像度の画像にも対応するマルチモーダル基盤モデルです。Qwen3.5-9Bの言語モデルをバックボーンに、C-RADIOv4-Hのビジョンエンコーダーを組み合わせています。一般的な画像、文書、グラフ、図表、OCRの理解に加え、視覚的な数学問題、複数視点での空間推論、複数ステップにわたるツール利用、VLAや身体性AI研究向けの空間認識を対象としています。

Hugging FaceとModelScopeでは、FP8、NVFP4、DSpark版を含む複数のバリアントが公開されています。重みはダウンロード可能で、trust_remote_codeを使ってHugging Face Transformersから実行するか、画像・動画入力に対応したOpenAI互換のチャット補完エンドポイントを提供するvLLMフォーク経由でサービングできます。オプションのフラグを使うと、推論結果の出力やツール呼び出しのパースを有効にできます。

リポジトリでは、難しいトークンに対して潜在空間での追加の反復処理を割り当てる、エントロピー判定型の適応的な再帰推論機構についても説明しています。モデルの重みはNVIDIA Open Model Licenseで公開されており、Qwen3.5のApache-2.0ライセンスやその他の上流ライセンス表記も維持されています。

主な機能

  • 01テキスト、複数の画像、動画を入力でき、任意の解像度の画像に対応します。
  • 02視覚的な数学問題に加え、文書、グラフ、図表、OCRの理解に対応します。
  • 03複数視点の対応付けや3Dシーン理解などの空間推論タスクを対象としています。
  • 04複数ステップ・複数ターンのツール利用に対応します。
  • 05Hugging FaceとModelScopeでFP8、NVFP4、DSparkの各バリアントを提供しています。
  • 06Dockerイメージを備えたvLLMフォークを通じて、OpenAI互換のサービング環境を利用できます。

ユースケース

  • 視覚言語モデルを使って、文書、グラフ、図表から情報を抽出する。
  • 画像理解と複数ステップのツール呼び出しを組み合わせたエージェントを構築する。
  • 空間推論、または身体性AIの認識・計画を研究する。
  • ローカルのマルチモーダルモデルをOpenAI形式のチャットAPIの背後でサービングする。

使う前に知っておきたいこと

  • ベンチマーク結果は、記載された評価設定に基づいて著者が報告した数値であり、ここで独自に検証したものではありません。
  • READMEの抜粋にはモデルのダウンロードリンクがありますが、インストールや実行のコマンドは記載されていないため、表示されているテキストではセットアップ手順を確認できません。

トピック

よくある質問

ZDTaichu5.0-9B とは?
Qwen3.5とC-RADIOv4-Hを基盤とする、視覚理解・空間推論・ツール利用・身体性AI研究向けの90億パラメータのオープンウェイトマルチモーダルモデル。 ZDTaichu5.0-9Bは、テキスト、1枚以上の画像、動画を入力でき、任意の解像度の画像にも対応するマルチモーダル基盤モデルです。Qwen3.5-9Bの言語モデルをバックボーンに、C-RADIOv4-Hのビジョンエンコーダーを組み合わせています。一般的な画像、文書、グラフ、図表、OCRの理解に加え、視覚的な数学問題、複数視点での空間推論、複数ステップにわたるツール利用、VLAや身体性AI研究向けの空間認識を対象としています。
ZDTaichu5.0-9B は無料で使えますか?ライセンスは?
ZDTaichu5.0-9B は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
ZDTaichu5.0-9B は今もメンテナンスされていますか?
半年以内に更新あり。ZDTaichu5.0-9B の最終コミットは 2026年9月17日 です。
ZDTaichu5.0-9B は何に使えますか?
視覚言語モデルを使って、文書、グラフ、図表から情報を抽出する。 画像理解と複数ステップのツール呼び出しを組み合わせたエージェントを構築する。 空間推論、または身体性AIの認識・計画を研究する。 ローカルのマルチモーダルモデルをOpenAI形式のチャットAPIの背後でサービングする。
ZDTaichu5.0-9B はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/Taichu-AI/ZDTaichu5.0-9B

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト