Repolode
投稿する
KRLabsOrg

KRLabsOrg/LettuceDetect

RAG、コードエージェント、ツールを根拠とするAIの回答をソース証拠と照合し、根拠のない部分をスパン単位で特定するオープンソースのハルシネーション検出器。

GitHub で見る公式サイト
スター
620
フォーク
64
未解決の Issue
28
最終コミット
17 時間前

これは何？

LettuceDetectは、AIが生成した回答を、その根拠となるはずだった情報と照合します。コンテキスト、質問、回答を渡すと、回答全体を「問題なし」か「要確認」のどちらかで判定するのではなく、根拠がない、矛盾している、または捏造された箇所を正確な文字スパンで示します。RAGの文章、多言語QA、コードエージェントの応答、開発者向けツールの出力に対応します。

このプロジェクトでは、2種類のモデルを提供しています。高速なエンコーダモデル（英語向けのModernBERT、複数言語向けのEuroBERT、mmBERTベースのv2モデル）は、トークンクラシファイアとしてローカルで動作します。2BのQwenベースのv2検出器などの生成モデルは、1回の処理でカテゴリとサブカテゴリが付与されたスパンを出力します。エンコーダにtaxonomy headを追加して、スパンにラベルを付けることもできます。比較用に、OpenAI APIを使用するLLMベースのベースラインも含まれています。

PythonパッケージはPyPIからインストールでき、Hugging Faceのモデルを数行のコードで読み込めます。また、Pythonクライアント付きのFastAPI Webサーバー、Streamlitデモ、RAGTruthデータセット向けの学習・評価スクリプトも提供しています。

主な機能

  • 01回答内の根拠のない内容や捏造された内容を、正確な文字スパンで返します。
  • 02高速な推論に使えるローカルのエンコーダモデルと、各スパンにタイプを付ける生成モデルを提供します。
  • 03英語および多言語のRAG回答に加え、コードエージェントやツールの出力にも対応します。
  • 04pipでインストールできるPython APIと、Pythonクライアント付きのFastAPIサーバーを提供します。
  • 05RAGTruthデータセット向けの学習・評価スクリプトが含まれています。

ユースケース

  • RAGチャットボットの回答が、検索で取得した文書に基づいているかを確認する。
  • コードエージェントの応答に含まれる、リポジトリのソースにないAPIや誤った値を検出する。
  • ツールを根拠とする出力を、ユーザーに表示する前に監査する。
  • RAGTruth形式のデータでハルシネーション検出器をベンチマークする。

クイックスタート

  1. 1

    PyPI からパッケージをインストールします

    pip install lettucedetect -U
  2. 2

    コンテキスト、質問、回答を検出器に渡して実行します（README の Python の例を参照）

使う前に知っておきたいこと

  • EuroBERT モデルは transformers 5 にまだ対応していないため、transformers 5.x 未満が必要です。
  • LLM ベースラインには OpenAI API キーが必要です。

収録されている特集

テストフレームワークと自動テストツール自然言語処理ツールとライブラリ

トピック

#hallucination-detection#rag#nlp#token-classification#pytorch#bert#llm-evaluation#hallucination-evaluation#information-extraction#python

よくある質問

LettuceDetect とは？
RAG、コードエージェント、ツールを根拠とするAIの回答をソース証拠と照合し、根拠のない部分をスパン単位で特定するオープンソースのハルシネーション検出器。 LettuceDetectは、AIが生成した回答を、その根拠となるはずだった情報と照合します。コンテキスト、質問、回答を渡すと、回答全体を「問題なし」か「要確認」のどちらかで判定するのではなく、根拠がない、矛盾している、または捏造された箇所を正確な文字スパンで示します。RAGの文章、多言語QA、コードエージェントの応答、開発者向けツールの出力に対応します。
LettuceDetect は無料で使えますか？ライセンスは？
LettuceDetect は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
LettuceDetect は今もメンテナンスされていますか？
活発にメンテナンス中。LettuceDetect の最終コミットは 2026年11月6日 です。
LettuceDetect は何に使えますか？
RAGチャットボットの回答が、検索で取得した文書に基づいているかを確認する。 コードエージェントの応答に含まれる、リポジトリのソースにないAPIや誤った値を検出する。 ツールを根拠とする出力を、ユーザーに表示する前に監査する。 RAGTruth形式のデータでハルシネーション検出器をベンチマークする。
LettuceDetect のインストール方法は？
PyPI からパッケージをインストールします: pip install lettucedetect -U コンテキスト、質問、回答を検出器に渡して実行します（README の Python の例を参照）
LettuceDetect はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/KRLabsOrg/LettuceDetect

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト

cvs-health / uqlm

不確実性定量化を用いてLLMの回答に幻覚が含まれる可能性を評価するPythonライブラリ。ブラックボックス、ホワイトボックス、判定役、アンサンブルの各スコアラーを備えています。

AI・機械学習#hallucination-detection#uncertainty-quantification#llm-evaluation
1217+2 今週140PythonApache-2.0活発にメンテナンス更新 24 日前