hallucination-leaderboard は無料で使えますか？ライセンスは？

hallucination-leaderboard は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

hallucination-leaderboard は今もメンテナンスされていますか？

活発にメンテナンス中。hallucination-leaderboard の最終コミットは 2026年10月17日です。

hallucination-leaderboard は何に使えますか？

事実の信頼性を基準に、要約やRAGパイプラインに使うLLM候補を比較する。流暢さよりも原文への忠実さが重要な場合に、モデルを選定する。モデルのリリースに伴う幻覚率の推移を追跡する。

hallucination-leaderboard はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/vectara/hallucination-leaderboard

vectara/hallucination-leaderboard

Q: hallucination-leaderboard は今もメンテナンスされていますか？

活発にメンテナンス中。hallucination-leaderboard の最終コミットは 2026年10月17日 です。

VectaraのHHEM評価モデルで採点し、短い文書の要約時にLLMがどれだけ幻覚を起こすかを順位付けする公開ランキングです。

GitHub で見る公式サイト

スター: 3,322
フォーク: 107
未解決の Issue: 20
最終コミット: 5 日前

これは何？

このリポジトリでは、文書を要約する際に大規模言語モデルがどれだけ幻覚を含めるかを測定する公開ランキングを公開しています。各モデルには、7,700件を超える記事からなる非公開データセットの文書を与え、原文の事実だけを使って要約するよう求めます。次に、VectaraのHallucination Evaluation Model（HHEM）が各要約と原文の事実上の整合性を確認し、モデルごとの幻覚率と事実整合率を算出します。

ランキングでは、モデルが要約を拒否した頻度を示す回答率と、平均要約長も報告するため、極端に短い出力が高得点を取ることはありません。モデルやAPIの変更に合わせて、結果は定期的に更新されます。過学習を抑えるため、データセットは非公開にされており、ランキングのインタラクティブ版はHugging Faceで公開されています。

リポジトリには、各項目で使われたプロンプト、temperatureの設定、モデルの正確なバージョンとプロバイダーが記載されています。対象にはAnthropic、OpenAI、Google Vertex AI、Mistral、Cohereのほか、ホスト型推論サービス経由で利用した複数のオープンウェイトモデルが含まれます。

主な機能

01文書要約における幻覚率で数十種類のLLMを順位付けします。
02VectaraのHHEMモデルを使い、各要約の事実整合性を採点します。
03正確性に加えて、回答率と平均要約長も報告します。
04使用したプロンプト、temperature、モデルの正確なバージョンを記録しています。
05過学習を抑えるため、評価データセットを非公開にしています。

ユースケース

事実の信頼性を基準に、要約やRAGパイプラインに使うLLM候補を比較する。
流暢さよりも原文への忠実さが重要な場合に、モデルを選定する。
モデルのリリースに伴う幻覚率の推移を追跡する。

使う前に知っておきたいこと

評価モデルのHHEM-2.3はVectaraの商用モデルであり、公開されているのはオープンソース版（HHEM-2.1-Open）のみです。
評価データセットは公開されていないため、データを使ってランキングを独立して再現することはできません。

トピック

#llm #hallucinations #evaluation #summarization #benchmark #generative-ai

よくある質問

hallucination-leaderboard とは？: VectaraのHHEM評価モデルで採点し、短い文書の要約時にLLMがどれだけ幻覚を起こすかを順位付けする公開ランキングです。このリポジトリでは、文書を要約する際に大規模言語モデルがどれだけ幻覚を含めるかを測定する公開ランキングを公開しています。各モデルには、7,700件を超える記事からなる非公開データセットの文書を与え、原文の事実だけを使って要約するよう求めます。次に、VectaraのHallucination Evaluation Model（HHEM）が各要約と原文の事実上の整合性を確認し、モデルごとの幻覚率と事実整合率を算出します。
hallucination-leaderboard は無料で使えますか？ライセンスは？: hallucination-leaderboard は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
hallucination-leaderboard は今もメンテナンスされていますか？: 活発にメンテナンス中。hallucination-leaderboard の最終コミットは 2026年10月17日です。
hallucination-leaderboard は何に使えますか？: 事実の信頼性を基準に、要約やRAGパイプラインに使うLLM候補を比較する。流暢さよりも原文への忠実さが重要な場合に、モデルを選定する。モデルのリリースに伴う幻覚率の推移を追跡する。
hallucination-leaderboard はどこで入手できますか？: ソースコードとインストール手順は GitHub にあります：https://github.com/vectara/hallucination-leaderboard

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。