stalkermustang/llm-bulls-and-cows-benchmark

これは何？

主な機能

• 01LiteLLMを通じて多くのLLMプロバイダーに対応
• 02成功率、形式エラー、勝利したゲームの平均ターン数を報告
• 03進捗バーを表示しながらゲームを並列実行
• 04YAMLで桁数と数字の重複ルールを設定可能
• 05MarkdownテーブルとインタラクティブなHTML可視化を出力

ユースケース

• シンプルで再現性の高いパズルを使って、異なるLLMの推論能力を比較する
• モデルが厳密な出力形式の指示に従うかテストする
• 自分のAPIキーを使って、公開済みのLLMベンチマーク結果を再現または拡張する

クイックスタート

1. 1

   依存関係をインストールし、pre-commitフックを設定する

   pip install -r requirements.txt pre-commit install
2. 2

   LLMプロバイダーのAPIキーを環境変数として設定する

3. 3

   使用するモデルとゲームの設定に合わせてconfigファイルを調整する

4. 4

   ベンチマークを実行し、結果を可視化する

   python run_benchmark.py python scripts/visualize_results.py

使う前に知っておきたいこと

• !ベンチマークの実行にはLLMプロバイダーの有料APIクレジットが必要で、全件実行すると数十ドルかかる場合があります。
• !公開結果の信頼区間は広くなっています。ほとんどのモデルは50ゲームでしかテストされていないためです。

トピック

よくある質問

llm-bulls-and-cows-benchmark とは？

LiteLLM互換プロバイダー経由でLLMに「牛と雄牛」をプレイさせ、性能を測定するPythonフレームワーク。 LLM Bulls and Cows Benchmarkは、暗号を当てるゲーム「牛と雄牛」を大規模言語モデルがどれだけうまく解けるか測定するための小規模なフレームワークです。このゲームでは、回答者は推測するたびに、数字が位置も含めて一致した数（bull）と、数字は一致するものの位置が異なる数（cow）を受け取ります。LiteLLMを通じて多くのプロバイダーに接続できるため、OpenAI、Anthropic、OpenRouterなどのエンドポイントのモデルを、同じゲームルールとプロンプトで比較できます。

llm-bulls-and-cows-benchmark は無料で使えますか？ライセンスは？

llm-bulls-and-cows-benchmark は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

llm-bulls-and-cows-benchmark は今もメンテナンスされていますか？

半年以上コミットなし。llm-bulls-and-cows-benchmark の最終コミットは 2025年1月31日 です。

llm-bulls-and-cows-benchmark は何に使えますか？

シンプルで再現性の高いパズルを使って、異なるLLMの推論能力を比較する モデルが厳密な出力形式の指示に従うかテストする 自分のAPIキーを使って、公開済みのLLMベンチマーク結果を再現または拡張する

llm-bulls-and-cows-benchmark のインストール方法は？

依存関係をインストールし、pre-commitフックを設定する: pip install -r requirements.txt pre-commit install LLMプロバイダーのAPIキーを環境変数として設定する 使用するモデルとゲームの設定に合わせてconfigファイルを調整する ベンチマークを実行し、結果を可視化する: python run_benchmark.py python scripts/visualize_results.py

llm-bulls-and-cows-benchmark はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/stalkermustang/llm-bulls-and-cows-benchmark