Repolode
ReversecLabs

ReversecLabs/spikee

Python-инструментарий для проверки LLM, guardrails и приложений на базе LLM на устойчивость к prompt injection и jailbreak-атакам.

Звёзды
269
Форки
54
Открытые issues
4
Последний коммит
4 дня назад

Что это?

Spikee помогает оценить, насколько хорошо LLM, guardrails и приложения на базе LLM противостоят prompt injection и jailbreak-атакам. Проверка проходит в два этапа: сначала из папок с исходными примерами генерируется тестовый датасет, при необходимости преобразующий payload с помощью плагинов, а затем этот датасет запускается против целевой системы, и для каждой атаки определяется, увенчалась ли она успехом.

Каждый этап конвейера реализован в виде Python-модуля, который можно настроить. Targets адаптируют Spikee к тестируемой системе, judges определяют успех по ключевым словам или регулярным выражениям либо с помощью LLM, а attacks могут генерировать итеративные или адаптивные варианты во время теста. Также поддерживаются многоходовые датасеты, targets и attacks.

В Spikee есть CLI для генерации датасетов, запуска тестов и анализа результатов, а также веб-интерфейс. Встроенные провайдеры по умолчанию поддерживают совместимые с OpenAI endpoints; дополнительно доступны интеграции с нативными SDK, например Bedrock, Azure, Ollama и Groq.

Ключевые возможности

  • 01Генерирует тестовые датасеты из папок с исходными примерами и при необходимости преобразует payload с помощью плагинов.
  • 02Запускает датасеты на пользовательских или встроенных целях, например у провайдеров LLM.
  • 03Определяет успех атак с помощью простых проверок по ключевым словам и регулярным выражениям либо судей на базе LLM.
  • 04Поддерживает динамические атаки, в том числе итеративные и многоходовые стратегии.
  • 05Предоставляет команды для анализа результатов и веб-интерфейс.

Сценарии использования

  • Проведение red teaming отдельной LLM с помощью jailbreak-промптов.
  • Проверка чат-бота или RAG-приложения на уязвимость к prompt injection.
  • Оценка того, насколько хорошо guardrail для LLM блокирует вредоносные входные данные.
  • Сравнение успешности атак на разных моделях или вариантах датасета.

Быстрый старт

  1. 1

    Установите spikee из PyPI

    pip install spikee
  2. 2

    Создайте папку для рабочей области

    mkdir workspace
  3. 3

    Перейдите в рабочую область и инициализируйте её со встроенными наборами данных и модулями

    cd workspace && spikee init

Что важно знать

  • Базовая установка поддерживает только эндпоинты, совместимые с OpenAI; для других провайдеров нужны дополнительные компоненты, например spikee[all].
  • Для некоторых примеров целей и плагинов требуются дополнительные сторонние библиотеки, например torch или googletrans.

В подборках

Темы

Частые вопросы

Что такое spikee?
Python-инструментарий для проверки LLM, guardrails и приложений на базе LLM на устойчивость к prompt injection и jailbreak-атакам. Spikee помогает оценить, насколько хорошо LLM, guardrails и приложения на базе LLM противостоят prompt injection и jailbreak-атакам. Проверка проходит в два этапа: сначала из папок с исходными примерами генерируется тестовый датасет, при необходимости преобразующий payload с помощью плагинов, а затем этот датасет запускается против целевой системы, и для каждой атаки определяется, увенчалась ли она успехом.
spikee можно использовать бесплатно? Какая у него лицензия?
spikee распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
spikee всё ещё поддерживается?
Активно поддерживается. Последний коммит в spikee — 3 нояб. 2026 г..
Для чего можно использовать spikee?
Проведение red teaming отдельной LLM с помощью jailbreak-промптов. Проверка чат-бота или RAG-приложения на уязвимость к prompt injection. Оценка того, насколько хорошо guardrail для LLM блокирует вредоносные входные данные. Сравнение успешности атак на разных моделях или вариантах датасета.
Как установить spikee?
Установите spikee из PyPI: pip install spikee Создайте папку для рабочей области: mkdir workspace Перейдите в рабочую область и инициализируйте её со встроенными наборами данных и модулями: cd workspace && spikee init
Где скачать spikee?
Исходный код и инструкции по установке — на GitHub: https://github.com/ReversecLabs/spikee

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

CLI и библиотека с открытым исходным кодом для проверки файлов моделей ИИ, кода, работающих конечных точек LLM/агентов/MCP и записанных трасс агентов с отчетом о проблемах и пробелах в проверках.

20317PythonApache-2.0Обновлён 14 часов назад