Repolode
ReversecLabs

ReversecLabs/spikee

Toolkit em Python para testar LLMs, guardrails e aplicações com LLM contra ataques de prompt injection e jailbreak.

Estrelas
269
Forks
54
Issues abertas
4
Último commit
há 4 dias

O que é?

O Spikee é um toolkit para avaliar o quanto LLMs, guardrails e aplicações com LLM resistem a ataques de prompt injection e jailbreak. Ele funciona em duas etapas: gera um conjunto de dados de teste a partir de pastas-semente, com a opção de transformar os payloads usando plugins, e depois executa esse conjunto contra um alvo, avaliando se cada ataque teve sucesso.

Cada parte do pipeline é um módulo Python que pode ser personalizado. Os alvos adaptam o Spikee ao sistema em teste, os avaliadores determinam se houve sucesso por correspondência de palavras-chave ou regex, ou usando um LLM, e os ataques podem gerar variações iterativas ou adaptativas durante um teste. Também há suporte a conjuntos de dados, alvos e ataques com múltiplos turnos.

O Spikee oferece uma CLI para gerar testes e analisar resultados, além de uma interface web. Por padrão, os provedores integrados atendem endpoints compatíveis com OpenAI, com opções extras para SDKs nativos, como Bedrock, Azure, Ollama e Groq.

Recursos principais

  • 01Gera conjuntos de dados de teste a partir de pastas-semente, com transformações opcionais de payloads por meio de plugins.
  • 02Executa conjuntos de dados contra alvos personalizados ou integrados, como provedores de LLM.
  • 03Avalia o sucesso dos ataques com verificações básicas de palavras-chave/regex ou avaliadores baseados em LLM.
  • 04Oferece suporte a ataques dinâmicos, incluindo estratégias iterativas e com múltiplos turnos.
  • 05Disponibiliza comandos para analisar resultados e uma interface web.

Casos de uso

  • Fazer red teaming de um LLM independente com prompts de jailbreak.
  • Testar se um chatbot ou uma aplicação RAG está vulnerável a prompt injection.
  • Avaliar o quanto um guardrail de LLM bloqueia entradas maliciosas.
  • Comparar as taxas de sucesso dos ataques entre modelos ou variantes de conjuntos de dados.

Início rápido

  1. 1

    Instale spikee pelo PyPI

    pip install spikee
  2. 2

    Crie uma pasta para o espaço de trabalho

    mkdir workspace
  3. 3

    Acesse o espaço de trabalho e inicialize-o com os conjuntos de dados e módulos integrados

    cd workspace && spikee init

Antes de usar

  • A instalação básica só oferece suporte a endpoints compatíveis com a OpenAI; para usar outros provedores, são necessários extras como spikee[all].
  • Alguns alvos de exemplo e plugins precisam de bibliotecas de terceiros adicionais, como torch ou googletrans.

Em coleções

Tópicos

Perguntas frequentes

O que é spikee?
Toolkit em Python para testar LLMs, guardrails e aplicações com LLM contra ataques de prompt injection e jailbreak. O Spikee é um toolkit para avaliar o quanto LLMs, guardrails e aplicações com LLM resistem a ataques de prompt injection e jailbreak. Ele funciona em duas etapas: gera um conjunto de dados de teste a partir de pastas-semente, com a opção de transformar os payloads usando plugins, e depois executa esse conjunto contra um alvo, avaliando se cada ataque teve sucesso.
spikee é gratuito? Qual é a licença?
spikee é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
spikee ainda é mantido?
Manutenção ativa. O último commit de spikee foi em 3 de nov. de 2026.
Para que posso usar spikee?
Fazer red teaming de um LLM independente com prompts de jailbreak. Testar se um chatbot ou uma aplicação RAG está vulnerável a prompt injection. Avaliar o quanto um guardrail de LLM bloqueia entradas maliciosas. Comparar as taxas de sucesso dos ataques entre modelos ou variantes de conjuntos de dados.
Como instalar spikee?
Instale spikee pelo PyPI: pip install spikee Crie uma pasta para o espaço de trabalho: mkdir workspace Acesse o espaço de trabalho e inicialize-o com os conjuntos de dados e módulos integrados: cd workspace && spikee init
Onde consigo spikee?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/ReversecLabs/spikee

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados