Открытый Python-фреймворк для red teaming систем на базе LLM и AI-агентов: имитирует атаки, выявляет уязвимости и предоставляет защитные механизмы для production.
ReversecLabs/spikee
Python-инструментарий для проверки LLM, guardrails и приложений на базе LLM на устойчивость к prompt injection и jailbreak-атакам.
- Звёзды
- 269
- Форки
- 54
- Открытые issues
- 4
- Последний коммит
- 4 дня назад
Что это?
Spikee помогает оценить, насколько хорошо LLM, guardrails и приложения на базе LLM противостоят prompt injection и jailbreak-атакам. Проверка проходит в два этапа: сначала из папок с исходными примерами генерируется тестовый датасет, при необходимости преобразующий payload с помощью плагинов, а затем этот датасет запускается против целевой системы, и для каждой атаки определяется, увенчалась ли она успехом.
Каждый этап конвейера реализован в виде Python-модуля, который можно настроить. Targets адаптируют Spikee к тестируемой системе, judges определяют успех по ключевым словам или регулярным выражениям либо с помощью LLM, а attacks могут генерировать итеративные или адаптивные варианты во время теста. Также поддерживаются многоходовые датасеты, targets и attacks.
В Spikee есть CLI для генерации датасетов, запуска тестов и анализа результатов, а также веб-интерфейс. Встроенные провайдеры по умолчанию поддерживают совместимые с OpenAI endpoints; дополнительно доступны интеграции с нативными SDK, например Bedrock, Azure, Ollama и Groq.
Ключевые возможности
- 01Генерирует тестовые датасеты из папок с исходными примерами и при необходимости преобразует payload с помощью плагинов.
- 02Запускает датасеты на пользовательских или встроенных целях, например у провайдеров LLM.
- 03Определяет успех атак с помощью простых проверок по ключевым словам и регулярным выражениям либо судей на базе LLM.
- 04Поддерживает динамические атаки, в том числе итеративные и многоходовые стратегии.
- 05Предоставляет команды для анализа результатов и веб-интерфейс.
Сценарии использования
- Проведение red teaming отдельной LLM с помощью jailbreak-промптов.
- Проверка чат-бота или RAG-приложения на уязвимость к prompt injection.
- Оценка того, насколько хорошо guardrail для LLM блокирует вредоносные входные данные.
- Сравнение успешности атак на разных моделях или вариантах датасета.
Быстрый старт
- 1
Установите spikee из PyPI
pip install spikee - 2
Создайте папку для рабочей области
mkdir workspace - 3
Перейдите в рабочую область и инициализируйте её со встроенными наборами данных и модулями
cd workspace && spikee init
Что важно знать
- Базовая установка поддерживает только эндпоинты, совместимые с OpenAI; для других провайдеров нужны дополнительные компоненты, например spikee[all].
- Для некоторых примеров целей и плагинов требуются дополнительные сторонние библиотеки, например torch или googletrans.
В подборках
Темы
Частые вопросы
- Что такое spikee?
- Python-инструментарий для проверки LLM, guardrails и приложений на базе LLM на устойчивость к prompt injection и jailbreak-атакам. Spikee помогает оценить, насколько хорошо LLM, guardrails и приложения на базе LLM противостоят prompt injection и jailbreak-атакам. Проверка проходит в два этапа: сначала из папок с исходными примерами генерируется тестовый датасет, при необходимости преобразующий payload с помощью плагинов, а затем этот датасет запускается против целевой системы, и для каждой атаки определяется, увенчалась ли она успехом.
- spikee можно использовать бесплатно? Какая у него лицензия?
- spikee распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- spikee всё ещё поддерживается?
- Активно поддерживается. Последний коммит в spikee — 3 нояб. 2026 г..
- Для чего можно использовать spikee?
- Проведение red teaming отдельной LLM с помощью jailbreak-промптов. Проверка чат-бота или RAG-приложения на уязвимость к prompt injection. Оценка того, насколько хорошо guardrail для LLM блокирует вредоносные входные данные. Сравнение успешности атак на разных моделях или вариантах датасета.
- Как установить spikee?
- Установите spikee из PyPI: pip install spikee Создайте папку для рабочей области: mkdir workspace Перейдите в рабочую область и инициализируйте её со встроенными наборами данных и модулями: cd workspace && spikee init
- Где скачать spikee?
- Исходный код и инструкции по установке — на GitHub: https://github.com/ReversecLabs/spikee
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Опенсорсный CLI-сканер, который проверяет LLM на уязвимости: prompt injection, утечки данных, jailbreak и токсичные ответы.
Платформа Tencent Zhuque Lab для red teaming ИИ, проверяющая AI-агентов, MCP-серверы, Agent Skills и ИИ-инфраструктуру на риски безопасности.
CLI-сканер и библиотека для red team-проверок системных промптов и инструкций агентов на уязвимости к извлечению промпта и prompt injection.
Open-source движок, SDK и CLI для adversarial-тестирования AI-агентов: атакует их через live-эндпоинты и превращает найденные сбои в правила firewall.
CLI и библиотека с открытым исходным кодом для проверки файлов моделей ИИ, кода, работающих конечных точек LLM/агентов/MCP и записанных трасс агентов с отчетом о проблемах и пробелах в проверках.