Исследовательский инструментарий из бенчмарка ICML 2024 TrustLLM для оценки надежности LLM по шести направлениям через CLI и Python.
TrustLLM — исследовательский инструментарий для оценки надежности больших языковых моделей по шести направлениям: достоверность, безопасность, справедливость, устойчивость, конфиденциальность и этика. В нём собран бенчмарк ICML 2024: можно запускать датасеты на локальных весах Hugging Face или через любой OpenAI-совместимый API, а данные, настройки и результаты каждого запуска сохранять вместе в одной директории.
Рабочий процесс состоит из генерации и оценки. На этапе generate собираются ответы модели для каждой задачи; процесс поддерживает контрольные точки, ограниченное число повторных попыток и HTML-отчёт о количестве завершённых задач. Затем этап evaluate оценивает полный набор ответов: в зависимости от задачи используются правила, скачиваемый классификатор, эмбеддинги или API-судья. Базовая установка не перегружена зависимостями, а дополнительные опции позволяют загружать локальные модели и добавляют зависимости для оценки.
В проекте также описано, как управлять процессом через CLI и Python и получать результаты в JSON, поэтому запускать один и тот же конвейер можно из скриптов или с помощью AI-агентов.
Установите базовый пакет с GitHub (требуется Git).
python -m pip install "trustllm @ git+https://github.com/HowieHwong/TrustLLM.git@main#subdirectory=trustllm_pkg"Скачайте набор данных для бенчмарка.
python -m trustllm download --output dataУкажите API-ключ и endpoint, затем запустите генерацию для smoke-теста.
export OPENAI_API_KEY="your-api-key"
export OPENAI_BASE_URL="https://your-provider.example/v1"
python -m trustllm generate \
--backend api --model your-model-id \
--task safety --data data/dataset \
--limit 5 --concurrency 4 --output runs/api-safetyОписание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Python-библиотека для оценки вероятности галлюцинаций в ответах LLM с помощью количественной оценки неопределённости и black-box, white-box, judge- и ensemble-оценщиков.
Python-библиотека для запуска тестов на устойчивость, смещения, справедливость и точность NLP-моделей и LLM одной строкой кода.
Набор инструментов для оценки LLM в роли автономных агентов: 300 проверенных людьми задач с оценкой выполнения, безопасности и устойчивости.
Python CLI для аудита AI-агентов по 61 проверке: он выявляет, выходят ли агенты за рамки своей роли, поддаются ли манипуляциям и выдумывают ли факты.
Опенсорсный CLI-сканер, который проверяет LLM на уязвимости: prompt injection, утечки данных, jailbreak и токсичные ответы.
Открытый Python-фреймворк для создания надёжных RL-сред, где задачи для агентов выполняются в изолированных виртуальных машинах, чтобы обучать AI с учётом человеческих предпочтений.