Repolode
Предложить
Giskard-AI

Giskard-AI/giskard-oss

Библиотека Python с открытым исходным кодом для написания eval-тестов, red teaming и поиска уязвимостей в системах на базе LLM и агентных системах.

Открыть на GitHubСайт
Звёзды
5,945
Форки
561
Открытые issues
77
Последний коммит
5 дней назад

Что это?

Giskard — библиотека Python для тестирования и оценки агентных систем. Она оборачивает любой объект тестирования — LLM, агента с закрытым исходным кодом или многошаговый конвейер — в синхронный или асинхронный вызываемый объект и проверяет его результаты. Поскольку выводы LLM недетерминированы, eval-тесты сочетают обычные проверки, например сопоставление строк, regex и семантическое сходство, с проверками LLM-as-judge, такими как Groundedness, Conformity и LLMJudge.

Релиз v3 организован в виде набора специализированных пакетов. giskard-checks предоставляет scenario API, наборы тестов и встроенные проверки для регрессионного тестирования, проверки обоснованности ответов RAG и многоходовых диалогов. giskard-scan добавляет сканер уязвимостей, который генерирует наборы состязательных тестов по описанию агента на естественном языке. Он проверяет уязвимость к prompt injection, jailbreak и вредоносному контенту, а также включает quality_scan для оценки базы знаний.

Сканирование табличных ML-моделей и генератор тестов RAGET из прежней версии v2 по-прежнему доступны пользователям v2, но эта версия больше не поддерживается активно. Для установки нужна Python 3.12 или новее; SDK провайдеров можно добавлять через pip extras.

Ключевые возможности

  • 01Scenario API для создания eval-тестов на основе взаимодействий и проверок
  • 02Встроенные проверки: сопоставление строк, regex, семантическое сходство и оценки LLM-as-judge
  • 03Проверки Groundedness, Conformity и LLMJudge для оценки RAG и безопасности
  • 04Автоматическая генерация red-team-наборов тестов по описанию агента
  • 05Проверки на prompt injection и категории угроз из OWASP LLM Top-10
  • 06Модульные пакеты, устанавливаемые через pip extras

Сценарии использования

  • Регрессионное тестирование приложения на базе LLM после изменения промпта или модели
  • Проверка того, что ответы RAG обоснованы извлечённым контекстом
  • Проверка чат-бота поддержки клиентов на prompt injection и вредоносные ответы
  • Сквозная оценка многоходовых диалогов с агентом

Быстрый старт

  1. 1

    Установите основную библиотеку проверок

    pip install giskard
  2. 2

    Установите дополнительный модуль сканера уязвимостей

    pip install "giskard[scan]"
  3. 3

    Установите SDK провайдера для LLM-судей (например, OpenAI) и задайте API-ключ

    pip install "giskard[openai]"

Что важно знать

  • Требуется Python версии 3.12 или новее.
  • Для LLM-судей и сканеров нужен API-ключ провайдера, например OpenAI.
  • Табличное ML-сканирование v2 доступно только в устаревшем варианте; v2 больше не поддерживается активно.

В подборках

Фреймворки тестирования и инструменты автоматизации тестов

Темы

#llm-evaluation#red-teaming#ai-testing#llm-security#rag-evaluation#agent-evaluation#python#ai-red-team#ai-security#fairness-ai

Частые вопросы

Что такое giskard-oss?
Библиотека Python с открытым исходным кодом для написания eval-тестов, red teaming и поиска уязвимостей в системах на базе LLM и агентных системах. Giskard — библиотека Python для тестирования и оценки агентных систем. Она оборачивает любой объект тестирования — LLM, агента с закрытым исходным кодом или многошаговый конвейер — в синхронный или асинхронный вызываемый объект и проверяет его результаты. Поскольку выводы LLM недетерминированы, eval-тесты сочетают обычные проверки, например сопоставление строк, regex и семантическое сходство, с проверками LLM-as-judge, такими как Groundedness, Conformity и LLMJudge.
giskard-oss можно использовать бесплатно? Какая у него лицензия?
giskard-oss распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
giskard-oss всё ещё поддерживается?
Активно поддерживается. Последний коммит в giskard-oss — 2 нояб. 2026 г..
Для чего можно использовать giskard-oss?
Регрессионное тестирование приложения на базе LLM после изменения промпта или модели Проверка того, что ответы RAG обоснованы извлечённым контекстом Проверка чат-бота поддержки клиентов на prompt injection и вредоносные ответы Сквозная оценка многоходовых диалогов с агентом
Как установить giskard-oss?
Установите основную библиотеку проверок: pip install giskard Установите дополнительный модуль сканера уязвимостей: pip install "giskard[scan]" Установите SDK провайдера для LLM-судей (например, OpenAI) и задайте API-ключ: pip install "giskard[openai]"
Где скачать giskard-oss?
Исходный код и инструкции по установке — на GitHub: https://github.com/Giskard-AI/giskard-oss

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

guardana / guardana

CLI и библиотека с открытым исходным кодом для проверки файлов моделей ИИ, кода, работающих конечных точек LLM/агентов/MCP и записанных трасс агентов с отчетом о проблемах и пробелах в проверках.

Безопасность#ai-security#llm-security#red-teaming
20317PythonApache-2.0Обновлён 23 часа назад