「evaluation」に関するオープンソースプロジェクト

Docker上で検証するパッチを生成し、実際のGitHub issueを言語モデルが解決できるかを測るベンチマークと評価ハーネス。

長時間の調査やファイルを扱う作業向けの、ReActと並列Agent Teamに対応したオープンソースのエージェントランタイムとターミナルTUI。

LiteLLM互換プロバイダー経由でLLMに「牛と雄牛」をプレイさせ、性能を測定するPythonフレームワーク。