Repolode
Предложить
NVIDIA

NVIDIA/garak

Опенсорсный CLI-сканер, который проверяет LLM на уязвимости: prompt injection, утечки данных, jailbreak и токсичные ответы.

Открыть на GitHubСайт
Звёзды
9,635
Форки
1,390
Открытые issues
510
Последний коммит
17 часов назад

Что это?

garak — сканер уязвимостей больших языковых моделей. Он запускает библиотеку проб на выбранной модели и фиксирует нежелательное поведение, включая галлюцинации, утечки данных, prompt injection, дезинформацию, токсичность и jailbreak. По своей концепции инструмент отчасти похож на сетевые сканеры вроде nmap, но предназначен для LLM и диалоговых систем.

Инструментом управляют из командной строки. Выберите тип цели и имя модели, при необходимости ограничьте запуск семейством проб или одной пробой с помощью --spec — garak применит к ответам рекомендованные детекторы для каждой пробы. Для не прошедших проверку запросов указываются доли сбоев, а каждая попытка записывается в отчёт JSONL; успешные атаки дополнительно попадают в отдельный журнал.

garak поддерживает модели Hugging Face (локальные пайплайны и размещённые в облаке эндпоинты), OpenAI, AWS Bedrock, Replicate, Cohere, Groq, NIM, LiteLLM, модели GGUF, совместимые с llama.cpp, и произвольные REST-эндпоинты, настроенные через YAML. Пакет устанавливается из PyPI и требует Python 3.11 или новее.

Ключевые возможности

  • 01Включает большой набор проб для prompt injection, jailbreak, атак с использованием кодировок, галлюцинаций и токсичности.
  • 02Работает с Hugging Face, OpenAI, AWS Bedrock, Replicate, Cohere, Groq, NIM и REST-эндпоинтами.
  • 03По умолчанию запускает все пробы; можно указать модуль или одну пробу с помощью --spec.
  • 04Создаёт подробные отчёты о запусках в формате JSONL и отдельный журнал успешных атак.
  • 05Использует расширяемую плагинную архитектуру с пробами, детекторами, генераторами и harness-компонентами.

Сценарии использования

  • Проведение red team-тестирования чат-бота или приложения на базе LLM перед выпуском.
  • Сравнение устойчивости разных моделей к одному и тому же набору атак.
  • Проверка, уязвима ли модель на собственном хостинге или через API к известным jailbreak-запросам.
  • Добавление автоматизированных проверок безопасности LLM в исследовательский или оценочный пайплайн.

Быстрый старт

  1. 1

    Установите garak из PyPI

    python -m pip install -U garak
  2. 2

    Укажите ключ API OpenAI (замените пример на действительный ключ)

    export OPENAI_API_KEY="sk-123XXXXXXXXXXXX"
  3. 3

    Запустите сканирование модели OpenAI на prompt injection с использованием кодирования

    python3 -m garak --target_type openai --target_name gpt-5-nano --spec probes.encoding

Что важно знать

  • Для сканирования размещённых моделей нужен ключ API провайдера, например OpenAI, Replicate или Cohere.
  • Согласно README, разработка и тестирование в основном ведутся на Linux и macOS.

Темы

#llm-security#red-teaming#prompt-injection#jailbreak#vulnerability-scanner#llm-evaluation#ai-safety#ai#security-scanners#vulnerability-assessment

Частые вопросы

Что такое garak?
Опенсорсный CLI-сканер, который проверяет LLM на уязвимости: prompt injection, утечки данных, jailbreak и токсичные ответы. garak — сканер уязвимостей больших языковых моделей. Он запускает библиотеку проб на выбранной модели и фиксирует нежелательное поведение, включая галлюцинации, утечки данных, prompt injection, дезинформацию, токсичность и jailbreak. По своей концепции инструмент отчасти похож на сетевые сканеры вроде nmap, но предназначен для LLM и диалоговых систем.
garak можно использовать бесплатно? Какая у него лицензия?
garak распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
garak всё ещё поддерживается?
Активно поддерживается. Последний коммит в garak — 20 окт. 2026 г..
Для чего можно использовать garak?
Проведение red team-тестирования чат-бота или приложения на базе LLM перед выпуском. Сравнение устойчивости разных моделей к одному и тому же набору атак. Проверка, уязвима ли модель на собственном хостинге или через API к известным jailbreak-запросам. Добавление автоматизированных проверок безопасности LLM в исследовательский или оценочный пайплайн.
Как установить garak?
Установите garak из PyPI: python -m pip install -U garak Укажите ключ API OpenAI (замените пример на действительный ключ): export OPENAI_API_KEY="sk-123XXXXXXXXXXXX" Запустите сканирование модели OpenAI на prompt injection с использованием кодирования: python3 -m garak --target_type openai --target_name gpt-5-nano --spec probes.encoding
Где скачать garak?
Исходный код и инструкции по установке — на GitHub: https://github.com/NVIDIA/garak

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

guardana / guardana

CLI и библиотека с открытым исходным кодом для проверки файлов моделей ИИ, кода, работающих конечных точек LLM/агентов/MCP и записанных трасс агентов с отчетом о проблемах и пробелах в проверках.

Безопасность#ai-security#llm-security#red-teaming
24813PythonApache-2.0Обновлён 14 часов назад