open-compass/VLMEvalKit

これは何？

主な機能

• 01数十種類の画像・動画ベンチマークで、LVLMをワンコマンドで評価できます。
• 02データのダウンロード、前処理、推論、指標の計算を自動で処理します。
• 03完全一致とLLMベースの回答抽出の両方による評価結果を報告します。
• 04商用APIと幅広いオープンソース視覚言語モデルに対応しています。
• 05generate_inner()関数を1つ実装するだけで、新しいモデルを追加できます。
• 06LMDeployまたはvLLMによるマルチノード分散推論に対応しています。

ユースケース

• 同じベンチマーク群で複数の視覚言語モデルを比較する。
• 自作のマルチモーダルモデルを既存のベンチマークで評価する。
• マルチモーダルモデルの公開済みリーダーボード結果を再現する。
• 分散推論を使って、思考モデルを大規模に評価する。

クイックスタート

1. 1

   インストールとセットアップについては、QuickStartガイドをお読みください

2. 2

   Pythonから対応するVLMを使ってデモを実行します

使う前に知っておきたいこと

• !一部のVLMでは特定のtransformersバージョンが必要なため、セットアップ時にバージョンを固定する必要がある場合があります。
• !生成ベースの評価を使用するため、結果は元の論文で報告された数値と異なる場合があります。

収録されている特集

トピック

よくある質問

VLMEvalKit とは？

さまざまなマルチモーダルベンチマークで大規模視覚言語モデルをワンコマンドで評価できるオープンソースツールキット。 VLMEvalKit（Pythonパッケージ名はvlmeval）は、幅広い画像・動画ベンチマークで大規模視覚言語モデル（LVLM）を評価します。対応モデルを対応ベンチマークで評価するためのコマンドを1つ実行すれば、データセットのダウンロード、前処理、推論、指標の計算までツールキットが処理するため、複数のリポジトリにまたがってデータを準備する必要はありません。

VLMEvalKit は無料で使えますか？ライセンスは？

VLMEvalKit は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

VLMEvalKit は今もメンテナンスされていますか？

活発にメンテナンス中。VLMEvalKit の最終コミットは 2026年11月6日 です。

VLMEvalKit は何に使えますか？

同じベンチマーク群で複数の視覚言語モデルを比較する。 自作のマルチモーダルモデルを既存のベンチマークで評価する。 マルチモーダルモデルの公開済みリーダーボード結果を再現する。 分散推論を使って、思考モデルを大規模に評価する。

VLMEvalKit のインストール方法は？

インストールとセットアップについては、QuickStartガイドをお読みください Pythonから対応するVLMを使ってデモを実行します

VLMEvalKit はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/open-compass/VLMEvalKit