Исследовательский инструментарий из бенчмарка ICML 2024 TrustLLM для оценки надежности LLM по шести направлениям через CLI и Python.
635+1 за неделю69PythonMITОбновлён в прошлом месяце
cvs-health/uqlm
Python-библиотека для оценки вероятности галлюцинаций в ответах LLM с помощью количественной оценки неопределённости и black-box, white-box, judge- и ensemble-оценщиков.
- Звёзды
- 1,217
- Форки
- 140
- Открытые issues
- 26
- Последний коммит
- 25 дней назад
Что это?
UQLM — это Python-библиотека для обнаружения галлюцинаций в ответах LLM. Каждый оценщик возвращает оценку уверенности от 0 до 1: чем она выше, тем меньше вероятность, что в ответе есть ошибки. Библиотека помогает разработчикам выявлять ненадёжные ответы, не требуя эталонного ответа для каждого запроса.
Оценщики в библиотеке сгруппированы по способу получения данных для оценки. Black-box-оценщики генерируют несколько ответов на один запрос и измеряют, насколько они согласуются между собой, поэтому работают с любой LLM. White-box-оценщики анализируют вероятности токенов при одной генерации: они обходятся дешевле, но для их работы нужен доступ к этим вероятностям через API. Оценщики LLM-as-a-judge поручают одной или нескольким моделям оценить ответ, а ensemble-оценщики объединяют результаты нескольких оценщиков с помощью взвешенного усреднения.
В UQLM также есть оценщик длинных текстов: он оценивает отдельные утверждения в развёрнутом ответе и может удалять утверждения с низкой уверенностью, чтобы улучшить результат. Кроме того, интерфейс CodeGenUQ позволяет предсказывать, будет ли сгенерированный код функционально корректным, не запуская его. Доступ к моделям осуществляется через интеграции LangChain Chat Model.
Ключевые возможности
- 01Black-box-оценщики измеряют согласованность нескольких сгенерированных ответов.
- 02White-box-оценщики вычисляют уверенность по вероятностям токенов в одной генерации.
- 03Оценщики LLM-as-a-judge используют одну или несколько моделей-судей, в том числе целую панель судей.
- 04Ensemble-оценщики объединяют результаты нескольких оценщиков с готовыми или настроенными весами.
- 05Оценщики длинных текстов анализируют отдельные утверждения и могут улучшать ответы, удаляя утверждения с низкой уверенностью.
- 06Работает с любыми моделями LangChain Chat Model.
Сценарии использования
- Выявление ненадёжных ответов LLM в рабочем конвейере вопросов и ответов.
- Фильтрация и доработка длинных сгенерированных документов путём удаления утверждений с низкой уверенностью.
- Оценка вероятности того, что код, сгенерированный LLM, будет функционально корректным, до его запуска.
- Сравнение методов обнаружения галлюцинаций на собственных запросах и размеченных ответах.
Быстрый старт
- 1
Установите uqlm из PyPI
pip install uqlm - 2
Создайте чат-модель LangChain (например, ChatOpenAI) и оберните её в BlackBoxUQ, чтобы оценивать ответы
Что важно знать
- Оценщики типа «чёрный ящик» и оценщики-судьи делают несколько вызовов LLM, что заметно увеличивает стоимость и задержку.
- Оценщикам типа «белый ящик» нужен доступ к вероятностям токенов, которые многие размещённые API не предоставляют.
В подборках
Темы
#hallucination-detection#uncertainty-quantification#llm-evaluation#confidence-estimation#llm-safety#python#ai-evaluation#ai-safety#confidence-score#hallucination
Частые вопросы
- Что такое uqlm?
- Python-библиотека для оценки вероятности галлюцинаций в ответах LLM с помощью количественной оценки неопределённости и black-box, white-box, judge- и ensemble-оценщиков. UQLM — это Python-библиотека для обнаружения галлюцинаций в ответах LLM. Каждый оценщик возвращает оценку уверенности от 0 до 1: чем она выше, тем меньше вероятность, что в ответе есть ошибки. Библиотека помогает разработчикам выявлять ненадёжные ответы, не требуя эталонного ответа для каждого запроса.
- uqlm можно использовать бесплатно? Какая у него лицензия?
- uqlm распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- uqlm всё ещё поддерживается?
- Активно поддерживается. Последний коммит в uqlm — 13 окт. 2026 г..
- Для чего можно использовать uqlm?
- Выявление ненадёжных ответов LLM в рабочем конвейере вопросов и ответов. Фильтрация и доработка длинных сгенерированных документов путём удаления утверждений с низкой уверенностью. Оценка вероятности того, что код, сгенерированный LLM, будет функционально корректным, до его запуска. Сравнение методов обнаружения галлюцинаций на собственных запросах и размеченных ответах.
- Как установить uqlm?
- Установите uqlm из PyPI: pip install uqlm Создайте чат-модель LangChain (например, ChatOpenAI) и оберните её в BlackBoxUQ, чтобы оценивать ответы
- Где скачать uqlm?
- Исходный код и инструкции по установке — на GitHub: https://github.com/cvs-health/uqlm
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Python CLI для аудита AI-агентов по 61 проверке: он выявляет, выходят ли агенты за рамки своей роли, поддаются ли манипуляциям и выдумывают ли факты.
43,9 тыс.+2,7 тыс. за неделю1,8 тыс.PythonApache-2.0Обновлён 6 часов назад
Открытый Python-фреймворк для red teaming систем на базе LLM и AI-агентов: имитирует атаки, выявляет уязвимости и предоставляет защитные механизмы для production.
3,1 тыс.+11 за неделю506PythonApache-2.0Обновлён 15 дней назад
Python-защита без зависимостей, кроме numpy, выявляет сбои декодирования LLM — например, зацикливание и смену языка — и обрывает поток до показа некорректного текста.
10415PythonApache-2.0Активно поддерживаетсяОбновлён 2 месяца назад
Открытый детектор галлюцинаций на уровне фрагментов: находит в ответах RAG, кодовых агентов и ИИ на основе инструментов части без подтверждения в источниках.
62064PythonMITОбновлён вчера
Библиотека Python для запуска eval-проверок и защитных механизмов на размещённых или локальных моделях принятия решений в стиле Jev; все проверки трейса отправляются одним запросом.
112+2 за неделю12PythonMITАктивно поддерживаетсяОбновлён 5 дней назад