PacificAI/langtest

Что это?

Ключевые возможности

• 01Генерирует и запускает более 60 типов тестов одной строкой кода.
• 02Охватывает устойчивость, смещения, репрезентативность, справедливость и точность.
• 03Поддерживает пайплайны для NER, перевода и классификации текста в Spark NLP, Hugging Face и Transformers.
• 04Тестирует размещённые в облаке LLM от OpenAI, Cohere, AI21, Hugging Face и Azure OpenAI.
• 05Включает бенчмарк-наборы данных для ответов на вопросы, суммаризации и других задач.

Сценарии использования

• Проверка устойчивости NER-модели к опечаткам и изменению регистра перед развёртыванием.
• Аудит чат-бота или LLM на предмет смещений, токсичности и сикофантного поведения.
• Оценка точности ответов LLM в медицинской или юридической тематике.
• Сравнение нескольких моделей на одних и тех же бенчмарк-наборах данных.

Быстрый старт

1. 1

   Установите langtest с поддержкой transformers

   pip install langtest[transformers]
2. 2

   Создайте Harness, сгенерируйте и запустите тесты модели, а затем подготовьте отчет

Что важно знать

• !Для некоторых типов тестов нужны платные API-ключи провайдеров LLM, таких как OpenAI, Cohere или AI21.

В подборках

Темы

Частые вопросы

Что такое langtest?

Python-библиотека для запуска тестов на устойчивость, смещения, справедливость и точность NLP-моделей и LLM одной строкой кода. LangTest — Python-библиотека для оценки языковых моделей до их выхода в production. Пользователь создаёт объект Harness для такой задачи, как распознавание именованных сущностей, указывает модель, а затем генерирует тестовые случаи, запускает их и формирует отчёт. Библиотека поддерживает более 60 типов тестов на устойчивость, смещения, репрезентативность, справедливость и точность.

langtest можно использовать бесплатно? Какая у него лицензия?

langtest распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

langtest всё ещё поддерживается?

Обновлялся за последние 6 месяцев. Последний коммит в langtest — 28 авг. 2026 г..

Для чего можно использовать langtest?

Проверка устойчивости NER-модели к опечаткам и изменению регистра перед развёртыванием. Аудит чат-бота или LLM на предмет смещений, токсичности и сикофантного поведения. Оценка точности ответов LLM в медицинской или юридической тематике. Сравнение нескольких моделей на одних и тех же бенчмарк-наборах данных.

Как установить langtest?

Установите langtest с поддержкой transformers: pip install langtest[transformers] Создайте Harness, сгенерируйте и запустите тесты модели, а затем подготовьте отчет

Где скачать langtest?

Исходный код и инструкции по установке — на GitHub: https://github.com/PacificAI/langtest