open-compass/opencompass

これは何？

主な機能

• 01OpenAI、Anthropic Claude、Google GeminiなどのAPIモデルと、ローカルのオープンソースモデルに対応。
• 02知識、推論、コーディング、科学、長文コンテキスト、安全性など、100を超えるデータセットを収録。
• 03HuggingFace、LMDeploy、vLLMのバックエンドを使って推論を実行。
• 04ルールベース、LLM-as-judge、数学的検証の評価器を利用可能。
• 05タスク分割、並行実行、分散実行に対応。
• 06VLMEvalKitと統合し、視覚言語データセットの評価に対応。

ユースケース

• 共通のベンチマークセットを使って、複数のオープンソースLLMやAPI LLMを比較する。
• 開発中やファインチューニング中のモデルを、再現性のある方法で評価する。
• テキストと視覚言語のベンチマークを同じワークフローで実行し、マルチモーダルモデルを評価する。

クイックスタート

1. 1

   Python 3.12 の conda 環境を作成する

   conda create --name opencompass python=3.12 -y
2. 2

   環境を有効化する

   conda activate opencompass
3. 3

   pip で OpenCompass をインストールする

   pip install -U opencompass
4. 4

   ドキュメントのクイックスタートガイドを読み、最初の評価を実行する

使う前に知っておきたいこと

• !一部のデータセット（APPS、TACO、LiveCodeBench のコード生成）では、pyext 依存関係のため Python 3.10 が必要です。
• !依存関係が競合するため、LMDeploy や vLLM などの推論バックエンドは別途インストールする必要があります。

トピック

よくある質問

opencompass とは？

100以上のデータセットと多数のモデルプロバイダー、推論バックエンドに対応した、オープンソースのLLM評価プラットフォーム。 OpenCompassは、大規模言語モデルをベンチマークするためのプラットフォームです。OpenAI、Anthropic、Gemini、Qwen、GLM、DeepSeekなどのプロバイダーのモデルに加え、ローカルのオープンソースモデルにも対応しています。知識、推論、コーディング、科学、言語、長文コンテキスト、安全性など、100を超えるデータセットを扱えます。

opencompass は無料で使えますか？ライセンスは？

opencompass は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

opencompass は今もメンテナンスされていますか？

活発にメンテナンス中。opencompass の最終コミットは 2026年10月21日 です。

opencompass は何に使えますか？

共通のベンチマークセットを使って、複数のオープンソースLLMやAPI LLMを比較する。 開発中やファインチューニング中のモデルを、再現性のある方法で評価する。 テキストと視覚言語のベンチマークを同じワークフローで実行し、マルチモーダルモデルを評価する。

opencompass のインストール方法は？

Python 3.12 の conda 環境を作成する: conda create --name opencompass python=3.12 -y 環境を有効化する: conda activate opencompass pip で OpenCompass をインストールする: pip install -U opencompass ドキュメントのクイックスタートガイドを読み、最初の評価を実行する

opencompass はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/open-compass/opencompass