ローカルやオンデバイス環境で画像、動画、文書、音声を理解するオープンソースのマルチモーダルモデル(MiniCPM-V 4.7、MiniCPM-o 4.5)。
Taichu-AI/ZDTaichu5.0-9B
Qwen3.5とC-RADIOv4-Hを基盤とする、視覚理解・空間推論・ツール利用・身体性AI研究向けの90億パラメータのオープンウェイトマルチモーダルモデル。
代替できる製品:GPT-4V
- スター
- 3,076
- フォーク
- 540
- 未解決の Issue
- 3
- 最終コミット
- 先月
これは何?
ZDTaichu5.0-9Bは、テキスト、1枚以上の画像、動画を入力でき、任意の解像度の画像にも対応するマルチモーダル基盤モデルです。Qwen3.5-9Bの言語モデルをバックボーンに、C-RADIOv4-Hのビジョンエンコーダーを組み合わせています。一般的な画像、文書、グラフ、図表、OCRの理解に加え、視覚的な数学問題、複数視点での空間推論、複数ステップにわたるツール利用、VLAや身体性AI研究向けの空間認識を対象としています。
Hugging FaceとModelScopeでは、FP8、NVFP4、DSpark版を含む複数のバリアントが公開されています。重みはダウンロード可能で、trust_remote_codeを使ってHugging Face Transformersから実行するか、画像・動画入力に対応したOpenAI互換のチャット補完エンドポイントを提供するvLLMフォーク経由でサービングできます。オプションのフラグを使うと、推論結果の出力やツール呼び出しのパースを有効にできます。
リポジトリでは、難しいトークンに対して潜在空間での追加の反復処理を割り当てる、エントロピー判定型の適応的な再帰推論機構についても説明しています。モデルの重みはNVIDIA Open Model Licenseで公開されており、Qwen3.5のApache-2.0ライセンスやその他の上流ライセンス表記も維持されています。
主な機能
- 01テキスト、複数の画像、動画を入力でき、任意の解像度の画像に対応します。
- 02視覚的な数学問題に加え、文書、グラフ、図表、OCRの理解に対応します。
- 03複数視点の対応付けや3Dシーン理解などの空間推論タスクを対象としています。
- 04複数ステップ・複数ターンのツール利用に対応します。
- 05Hugging FaceとModelScopeでFP8、NVFP4、DSparkの各バリアントを提供しています。
- 06Dockerイメージを備えたvLLMフォークを通じて、OpenAI互換のサービング環境を利用できます。
ユースケース
- 視覚言語モデルを使って、文書、グラフ、図表から情報を抽出する。
- 画像理解と複数ステップのツール呼び出しを組み合わせたエージェントを構築する。
- 空間推論、または身体性AIの認識・計画を研究する。
- ローカルのマルチモーダルモデルをOpenAI形式のチャットAPIの背後でサービングする。
使う前に知っておきたいこと
- ベンチマーク結果は、記載された評価設定に基づいて著者が報告した数値であり、ここで独自に検証したものではありません。
- READMEの抜粋にはモデルのダウンロードリンクがありますが、インストールや実行のコマンドは記載されていないため、表示されているテキストではセットアップ手順を確認できません。
トピック
よくある質問
- ZDTaichu5.0-9B とは?
- Qwen3.5とC-RADIOv4-Hを基盤とする、視覚理解・空間推論・ツール利用・身体性AI研究向けの90億パラメータのオープンウェイトマルチモーダルモデル。 ZDTaichu5.0-9Bは、テキスト、1枚以上の画像、動画を入力でき、任意の解像度の画像にも対応するマルチモーダル基盤モデルです。Qwen3.5-9Bの言語モデルをバックボーンに、C-RADIOv4-Hのビジョンエンコーダーを組み合わせています。一般的な画像、文書、グラフ、図表、OCRの理解に加え、視覚的な数学問題、複数視点での空間推論、複数ステップにわたるツール利用、VLAや身体性AI研究向けの空間認識を対象としています。
- ZDTaichu5.0-9B は無料で使えますか?ライセンスは?
- ZDTaichu5.0-9B は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- ZDTaichu5.0-9B は今もメンテナンスされていますか?
- 半年以内に更新あり。ZDTaichu5.0-9B の最終コミットは 2026年9月17日 です。
- ZDTaichu5.0-9B は何に使えますか?
- 視覚言語モデルを使って、文書、グラフ、図表から情報を抽出する。 画像理解と複数ステップのツール呼び出しを組み合わせたエージェントを構築する。 空間推論、または身体性AIの認識・計画を研究する。 ローカルのマルチモーダルモデルをOpenAI形式のチャットAPIの背後でサービングする。
- ZDTaichu5.0-9B はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/Taichu-AI/ZDTaichu5.0-9B
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
OpenAIのオープンウェイト言語モデルgpt-oss-120bとgpt-oss-20b、および推論・ツール・クライアントのリファレンス実装。
NEOは、ピクセルと単語を単一のエンコーダーフリーな高密度アーキテクチャで処理する視覚言語モデル群で、学習・評価コードも公開しています。
公開データで学習した、医療テキスト、2D画像、3D CT/MRIボリューム、手術動画を扱えるオープンな医療向け視覚言語モデルです。
FSDP2、Muon、Liger kernelsに対応した、VLM・diffusion・LLM向けの統合トレーニングエンジン。
検出、OCR、セグメンテーション、深度推定、マルチビュー幾何などのCVタスクを、テキストと画像の生成で扱う統合型マルチモーダルモデル。