「benchmark」に関するオープンソースプロジェクト

複数プロバイダーの無料コーディングLLMをベンチマークし、選んだモデルをコーディングツールに設定するCLIとWebダッシュボード。

LiteLLMで多くのモデルプロバイダーに接続し、LLMのBulls and Cows攻略能力を測定するPythonベンチマーク。