cvs-health/uqlm

これは何？

主な機能

• 01複数のサンプル回答の一貫性を測定するブラックボックススコアラー。
• 021回の生成におけるトークン確率から信頼度を算出するホワイトボックススコアラー。
• 03複数のモデルを判定役として使い、判定役のパネルも構成できるLLM-as-a-judgeスコアラー。
• 04既定の重みまたは調整済みの重みで複数のスコアラーを統合するアンサンブルスコアラー。
• 05個々の主張を評価し、信頼度の低い主張を削除して回答を改善できる長文スコアラー。
• 06あらゆるLangChain Chat Modelで動作します。

ユースケース

• 本番環境の質問応答パイプラインで、信頼性の低いLLMの回答を検出する。
• 信頼度の低い主張を削除し、生成された長文ドキュメントをフィルタリングまたは改善する。
• LLMが生成したコードを実行する前に、機能的に正しい可能性を推定する。
• 独自のプロンプトとラベル付き回答を使って、幻覚検出手法を比較する。

クイックスタート

1. 1

   PyPIからuqlmをインストールする

   pip install uqlm
2. 2

   LangChainのチャットモデル（例: ChatOpenAI）を作成し、BlackBoxUQでラップして応答をスコアリングする

使う前に知っておきたいこと

• !ブラックボックス型およびジャッジ型のスコアラーはLLMを複数回呼び出すため、コストとレイテンシが目立って増加します。
• !ホワイトボックス型のスコアラーにはトークン確率へのアクセスが必要ですが、多くのホスト型APIでは公開されていません。

収録されている特集

トピック

よくある質問

uqlm とは？

不確実性定量化を用いてLLMの回答に幻覚が含まれる可能性を評価するPythonライブラリ。ブラックボックス、ホワイトボックス、判定役、アンサンブルの各スコアラーを備えています。 UQLMは、LLMの出力に含まれる幻覚を検出するためのPythonライブラリです。各スコアラーは0から1までの信頼度スコアを返し、値が高いほど回答に誤りが含まれる可能性が低いことを示します。すべてのプロンプトに正解データを用意しなくても、信頼性の低い回答を開発者が見つけられるよう支援します。

uqlm は無料で使えますか？ライセンスは？

uqlm は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

uqlm は今もメンテナンスされていますか？

活発にメンテナンス中。uqlm の最終コミットは 2026年10月13日 です。

uqlm は何に使えますか？

本番環境の質問応答パイプラインで、信頼性の低いLLMの回答を検出する。 信頼度の低い主張を削除し、生成された長文ドキュメントをフィルタリングまたは改善する。 LLMが生成したコードを実行する前に、機能的に正しい可能性を推定する。 独自のプロンプトとラベル付き回答を使って、幻覚検出手法を比較する。

uqlm のインストール方法は？

PyPIからuqlmをインストールする: pip install uqlm LangChainのチャットモデル（例: ChatOpenAI）を作成し、BlackBoxUQでラップして応答をスコアリングする

uqlm はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/cvs-health/uqlm