「evaluation-framework」に関するオープンソースプロジェクト

数十種類の標準的な学術ベンチマークを使って、言語モデルの few-shot 評価を実行する統合フレームワーク。

Pytestに着想を得た、RAG、エージェント、チャットボット、音声エージェントなどの指標を備える、LLMアプリ向けオープンソースPythonテストフレームワーク。

宣言的な設定とCI/CD連携に対応した、プロンプト評価とLLMアプリのレッドチームテスト向けCLI・ライブラリ。