Repolode
投稿する
PacificAI

PacificAI/langtest

NLPモデルやLLMに対する堅牢性、バイアス、公平性、精度のテストを、1行のコードで生成・実行できるPythonライブラリ。

GitHub で見る公式サイト
スター
561
フォーク
53
未解決の Issue
7
最終コミット
2 か月前

これは何？

LangTestは、言語モデルを本番環境に導入する前に評価するためのPythonライブラリです。ユーザーは、固有表現認識などのタスク用にHarnessオブジェクトを作成してモデルを指定し、テストケースを生成・実行してレポートを作成します。堅牢性、バイアス、表現、公平性、精度にまたがる60種類以上のテストに対応しています。

Spark NLP、Hugging Face、Transformersを基盤とするNER、翻訳、テキスト分類のNLPパイプラインで利用できます。また、OpenAI、Cohere、AI21、Hugging Face Inference API、Azure OpenAIのホスト型LLMもテストでき、質問応答、有害性、事実性、迎合性、要約、医療・法律分野のシナリオを扱います。一部のモデルでは、テスト結果を使って学習データを自動的に拡張できます。

このプロジェクトはApache-2.0ライセンスで公開され、John Snow LabsとPacific AIチームがメンテナンスしています。ドキュメントとベンチマークデータセットはlangtest.orgで公開されています。

主な機能

  • 011行のコードで60種類以上のテストを生成・実行できます。
  • 02堅牢性、バイアス、表現、公平性、精度を評価できます。
  • 03Spark NLP、Hugging Face、TransformersのNER、翻訳、テキスト分類パイプラインに対応しています。
  • 04OpenAI、Cohere、AI21、Hugging Face、Azure OpenAIのホスト型LLMをテストできます。
  • 05質問応答、要約などのタスク向けベンチマークデータセットを収録しています。

ユースケース

  • デプロイ前に、NERモデルが誤字や大文字・小文字の変更に対して堅牢かを確認する。
  • チャットボットやLLMのバイアス、有害性、迎合性を監査する。
  • 医療・法律分野のLLM出力を、専門領域に即した精度で評価する。
  • 同じベンチマークデータセットを使って複数のモデルを比較する。

クイックスタート

  1. 1

    transformers対応でlangtestをインストールする

    pip install langtest[transformers]
  2. 2

    Harnessを作成し、モデルのテストを生成・実行して結果をレポートする

使う前に知っておきたいこと

  • 一部のテストタイプでは、OpenAI、Cohere、AI21などのLLMプロバイダーの有料APIキーが必要です。

収録されている特集

テストフレームワークと自動テストツール自然言語処理ツールとライブラリ

トピック

#ai-testing#llm-evaluation#nlp#responsible-ai#model-robustness#bias-detection#benchmarks#ai-safety#artificial-intelligence#benchmark-framework

よくある質問

langtest とは？
NLPモデルやLLMに対する堅牢性、バイアス、公平性、精度のテストを、1行のコードで生成・実行できるPythonライブラリ。 LangTestは、言語モデルを本番環境に導入する前に評価するためのPythonライブラリです。ユーザーは、固有表現認識などのタスク用にHarnessオブジェクトを作成してモデルを指定し、テストケースを生成・実行してレポートを作成します。堅牢性、バイアス、表現、公平性、精度にまたがる60種類以上のテストに対応しています。
langtest は無料で使えますか？ライセンスは？
langtest は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
langtest は今もメンテナンスされていますか？
半年以内に更新あり。langtest の最終コミットは 2026年8月28日 です。
langtest は何に使えますか？
デプロイ前に、NERモデルが誤字や大文字・小文字の変更に対して堅牢かを確認する。 チャットボットやLLMのバイアス、有害性、迎合性を監査する。 医療・法律分野のLLM出力を、専門領域に即した精度で評価する。 同じベンチマークデータセットを使って複数のモデルを比較する。
langtest のインストール方法は？
transformers対応でlangtestをインストールする: pip install langtest[transformers] Harnessを作成し、モデルのテストを生成・実行して結果をレポートする
langtest はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/PacificAI/langtest

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト

cvs-health / uqlm

不確実性定量化を用いてLLMの回答に幻覚が含まれる可能性を評価するPythonライブラリ。ブラックボックス、ホワイトボックス、判定役、アンサンブルの各スコアラーを備えています。

AI・機械学習#hallucination-detection#uncertainty-quantification#llm-evaluation
1217+2 今週140PythonApache-2.0活発にメンテナンス更新 25 日前