hallucination-leaderboard можно использовать бесплатно? Какая у него лицензия?

hallucination-leaderboard распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

hallucination-leaderboard всё ещё поддерживается?

Активно поддерживается. Последний коммит в hallucination-leaderboard — 17 окт. 2026 г..

Для чего можно использовать hallucination-leaderboard?

Сравнение кандидатов на роль LLM для пересказа документов или RAG-пайплайнов по достоверности. Выбор модели, когда соответствие исходному тексту важнее беглости изложения. Отслеживание изменений частоты галлюцинаций при выходе новых версий моделей.

Где скачать hallucination-leaderboard?

Исходный код и инструкции по установке — на GitHub: https://github.com/vectara/hallucination-leaderboard

vectara/hallucination-leaderboard

Публичный рейтинг LLM по частоте галлюцинаций при кратком пересказе документов на основе оценки моделью HHEM от Vectara.

Открыть на GitHub Сайт

Звёзды: 3,322
Форки: 107
Открытые issues: 20
Последний коммит: 4 дня назад

Что это?

В этом репозитории размещён публичный рейтинг, показывающий, как часто большие языковые модели добавляют галлюцинации при пересказе документов. Каждой модели предлагают документ из закрытого набора данных, включающего более 7 700 статей, и просят пересказать его, опираясь только на факты из исходного текста. Затем Hallucination Evaluation Model (HHEM) от Vectara проверяет, насколько каждый пересказ соответствует оригиналу, и для каждой модели рассчитывает частоту галлюцинаций и фактическую точность.

В рейтинге также указана доля ответов — как часто модель отказывалась от пересказа, — и средняя длина пересказа, чтобы модели не получали высокие оценки за тривиально короткие ответы. Результаты периодически обновляются по мере изменения моделей и API. Набор данных остаётся закрытым, чтобы снизить риск переобучения; интерактивная версия рейтинга доступна на Hugging Face.

В репозитории описаны промпт, температура и конкретные версии моделей, а также провайдеры, использованные для каждой записи, включая Anthropic, OpenAI, Google Vertex AI, Mistral, Cohere и несколько моделей с открытыми весами, доступных через хостинговые сервисы инференса.

Ключевые возможности

01Ранжирует десятки LLM по частоте галлюцинаций при пересказе документов.
02Оценивает фактическую точность каждого пересказа с помощью модели HHEM от Vectara.
03Наряду с точностью показывает долю ответов и среднюю длину пересказа.
04Документирует промпт, температуру и точные версии использованных моделей.
05Сохраняет набор данных для оценки закрытым, чтобы снизить риск переобучения.

Сценарии использования

Сравнение кандидатов на роль LLM для пересказа документов или RAG-пайплайнов по достоверности.
Выбор модели, когда соответствие исходному тексту важнее беглости изложения.
Отслеживание изменений частоты галлюцинаций при выходе новых версий моделей.

Что важно знать

Модель оценки HHEM-2.3 — коммерческая модель Vectara; в открытом доступе доступен только вариант с открытым исходным кодом (HHEM-2.1-Open).
Набор данных для оценки недоступен публично, поэтому независимо воспроизвести рейтинги на основе этих данных невозможно.

Темы

#llm #hallucinations #evaluation #summarization #benchmark #generative-ai

Частые вопросы

Что такое hallucination-leaderboard?: Публичный рейтинг LLM по частоте галлюцинаций при кратком пересказе документов на основе оценки моделью HHEM от Vectara. В этом репозитории размещён публичный рейтинг, показывающий, как часто большие языковые модели добавляют галлюцинации при пересказе документов. Каждой модели предлагают документ из закрытого набора данных, включающего более 7 700 статей, и просят пересказать его, опираясь только на факты из исходного текста. Затем Hallucination Evaluation Model (HHEM) от Vectara проверяет, насколько каждый пересказ соответствует оригиналу, и для каждой модели рассчитывает частоту галлюцинаций и фактическую точность.
hallucination-leaderboard можно использовать бесплатно? Какая у него лицензия?: hallucination-leaderboard распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
hallucination-leaderboard всё ещё поддерживается?: Активно поддерживается. Последний коммит в hallucination-leaderboard — 17 окт. 2026 г..
Для чего можно использовать hallucination-leaderboard?: Сравнение кандидатов на роль LLM для пересказа документов или RAG-пайплайнов по достоверности. Выбор модели, когда соответствие исходному тексту важнее беглости изложения. Отслеживание изменений частоты галлюцинаций при выходе новых версий моделей.
Где скачать hallucination-leaderboard?: Исходный код и инструкции по установке — на GitHub: https://github.com/vectara/hallucination-leaderboard

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

open-compass / opencompass

GitHub

Платформа с открытым исходным кодом для комплексной оценки больших языковых моделей на 100+ наборах данных с использованием множества провайдеров моделей и бэкендов инференса.

ИИ и машинное обучение #llm-evaluation #benchmark #large-language-model #inference #evaluation-framework

7,5 тыс.888PythonApache-2.0Обновлён 4 часа назад

SWE-bench / SWE-bench

GitHub

Бенчмарк и инструмент оценки, который проверяет, могут ли языковые модели решать реальные задачи GitHub, создавая патчи, проверяемые в Docker.

ИИ и машинное обучение #benchmark #llm #software-engineering #code-generation #docker

6,1 тыс.1 тыс.PythonMITОбновлён в прошлом месяце

modelscope / evalscope

GitHub

Настраиваемый фреймворк для оценки LLM, VLM и AIGC-моделей на бенчмарках, нагрузочного тестирования производительности инференса и просмотра результатов на дашборде.

ИИ и машинное обучение #llm-evaluation #benchmark #performance-testing #vlm #rag

3,6 тыс.531PythonApache-2.0Обновлён 4 часа назад