jingyaogong/minimind-v

これは何？

主な機能

• 01単一GPUで、手順が文書化されたSFTワークフローを使い、パラメータ数6,500万のVLMをゼロから学習できます。
• 02凍結したSigLIP2ビジョンエンコーダーと、64個の画像トークンをLLMに写像するMLPプロジェクターを使用します。
• 03dense版とMoE版のモデルを提供します。
• 04Parquet形式の画像・テキストデータセット向けに、データ準備スクリプトを収録しています。
• 05DDPによるマルチGPU学習、bfloat16、チェックポイントからの再開、wandbまたはSwanLabでのログ記録に対応しています。
• 06コマンドライン評価ツールと、画像についてチャットできるWebUIを備えています。

ユースケース

• ビジョンエンコーダー、プロジェクター、LLMから視覚言語モデルを組み立てる方法を学ぶ。
• 一般向けGPU 1台で、小規模なマルチモーダル学習実験を行う。
• 最小限で読みやすいコードベースを使って、画像質問応答のプロトタイプを作る。
• 小型VLMを独自の画像・テキストデータセットに適応させるためのベースとして使う。

トピック

よくある質問

minimind-v とは？

単一GPUで約2時間あればゼロから学習できる、パラメータ数約6,500万の小型オープンソース視覚言語モデルです。 MiniMind-Vは、ビジョンエンコーダーと小型言語モデルを組み合わせ、画像について質問に答えられる小規模なマルチモーダルモデルです。プレーンなPyTorchで、モデル構造、データセットの準備、事前学習、教師ありファインチューニングから、推論やWebUIまで、学習の全工程を扱います。

minimind-v は無料で使えますか？ライセンスは？

minimind-v は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

minimind-v は今もメンテナンスされていますか？

活発にメンテナンス中。minimind-v の最終コミットは 2026年9月22日 です。

minimind-v は何に使えますか？

ビジョンエンコーダー、プロジェクター、LLMから視覚言語モデルを組み立てる方法を学ぶ。 一般向けGPU 1台で、小規模なマルチモーダル学習実験を行う。 最小限で読みやすいコードベースを使って、画像質問応答のプロトタイプを作る。 小型VLMを独自の画像・テキストデータセットに適応させるためのベースとして使う。

minimind-v はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/jingyaogong/minimind-v