HowieHwong/TrustLLM

これは何？

主な機能

• 01ICML 2024ベンチマークのデータセットを使い、信頼性を6つの観点から評価します。
• 02ローカルのHugging Face製causal LM、またはOpenAI互換APIに対して生成を実行できます。
• 03trustllm CLIからdownload、tasks、generate、evaluateコマンドを実行できます。
• 04サンプルごとのチェックポイントを保存し、中断した実行を安全に再開できます。
• 05タスクに応じて、ルール、分類器、埋め込み、またはAPI判定モデルで応答をスコアリングします。

ユースケース

• 一貫したベンチマークで、複数のLLMの安全性と真実性を比較する。
• デプロイ前に、ファインチューニング済みモデルやローカルモデルのジェイルブレイク耐性を確認する。
• 学術研究でICML 2024 TrustLLMの結果を再現する。
• 本格的な評価の前に、モデルAPIの簡易スモークテストを実行する。

クイックスタート

1. 1

   GitHubからベースパッケージをインストールします（Gitが必要です）

   python -m pip install "trustllm @ git+https://github.com/HowieHwong/TrustLLM.git@main#subdirectory=trustllm_pkg"
2. 2

   ベンチマークデータセットをダウンロードします

   python -m trustllm download --output data
3. 3

   APIキーとエンドポイントを設定し、スモークテスト用の生成を実行します

   export OPENAI_API_KEY="your-api-key" export OPENAI_BASE_URL="https://your-provider.example/v1" python -m trustllm generate \ --backend api --model your-model-id \ --task safety --data data/dataset \ --limit 5 --concurrency 4 --output runs/api-safety

使う前に知っておきたいこと

• !フル実行のスコアリングでは、料金が発生する可能性のあるAPI judgeを使用する場合があります。
• !生成設定が元の論文と異なるため、新たに実行した結果は論文の結果と直接比較できません。
• !公開済みのパッケージリリースではなく、GitHubのmainブランチからインストールします。

収録されている特集

トピック

よくある質問

TrustLLM とは？

ICML 2024 TrustLLMベンチマークに基づき、CLIとPythonでLLMの信頼性を6つの観点から評価するオープンな研究用ツールキット。 TrustLLMは、大規模言語モデルの信頼性を、真実性、安全性、公平性、堅牢性、プライバシー、倫理の6つの観点から測定する研究用ツールキットです。ICML 2024のベンチマークをパッケージ化しており、データセットをローカルのHugging Faceモデルの重みや、OpenAI互換APIに対して実行できます。データ、設定、出力はすべて1つの実行ディレクトリにまとめられます。

TrustLLM は無料で使えますか？ライセンスは？

TrustLLM は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

TrustLLM は今もメンテナンスされていますか？

半年以内に更新あり。TrustLLM の最終コミットは 2026年10月4日 です。

TrustLLM は何に使えますか？

一貫したベンチマークで、複数のLLMの安全性と真実性を比較する。 デプロイ前に、ファインチューニング済みモデルやローカルモデルのジェイルブレイク耐性を確認する。 学術研究でICML 2024 TrustLLMの結果を再現する。 本格的な評価の前に、モデルAPIの簡易スモークテストを実行する。

TrustLLM のインストール方法は？

GitHubからベースパッケージをインストールします（Gitが必要です）: python -m pip install "trustllm @ git+https://github.com/HowieHwong/TrustLLM.git@main#subdirectory=trustllm_pkg" ベンチマークデータセットをダウンロードします: python -m trustllm download --output data APIキーとエンドポイントを設定し、スモークテスト用の生成を実行します: export OPENAI_API_KEY="your-api-key" export OPENAI_BASE_URL="https://your-provider.example/v1" python -m trustllm generate \ --backend api --model your-model-id \ --task safety --data data/dataset \ --limit 5 --concurrency 4 --output runs/api-safety

TrustLLM はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/HowieHwong/TrustLLM