Framework Python open source para red teaming de sistemas com LLMs e agentes de IA, que simula ataques para encontrar vulnerabilidades e oferece proteções para produção.
ReversecLabs/spikee
Toolkit em Python para testar LLMs, guardrails e aplicações com LLM contra ataques de prompt injection e jailbreak.
- Estrelas
- 269
- Forks
- 54
- Issues abertas
- 4
- Último commit
- há 4 dias
O que é?
O Spikee é um toolkit para avaliar o quanto LLMs, guardrails e aplicações com LLM resistem a ataques de prompt injection e jailbreak. Ele funciona em duas etapas: gera um conjunto de dados de teste a partir de pastas-semente, com a opção de transformar os payloads usando plugins, e depois executa esse conjunto contra um alvo, avaliando se cada ataque teve sucesso.
Cada parte do pipeline é um módulo Python que pode ser personalizado. Os alvos adaptam o Spikee ao sistema em teste, os avaliadores determinam se houve sucesso por correspondência de palavras-chave ou regex, ou usando um LLM, e os ataques podem gerar variações iterativas ou adaptativas durante um teste. Também há suporte a conjuntos de dados, alvos e ataques com múltiplos turnos.
O Spikee oferece uma CLI para gerar testes e analisar resultados, além de uma interface web. Por padrão, os provedores integrados atendem endpoints compatíveis com OpenAI, com opções extras para SDKs nativos, como Bedrock, Azure, Ollama e Groq.
Recursos principais
- 01Gera conjuntos de dados de teste a partir de pastas-semente, com transformações opcionais de payloads por meio de plugins.
- 02Executa conjuntos de dados contra alvos personalizados ou integrados, como provedores de LLM.
- 03Avalia o sucesso dos ataques com verificações básicas de palavras-chave/regex ou avaliadores baseados em LLM.
- 04Oferece suporte a ataques dinâmicos, incluindo estratégias iterativas e com múltiplos turnos.
- 05Disponibiliza comandos para analisar resultados e uma interface web.
Casos de uso
- Fazer red teaming de um LLM independente com prompts de jailbreak.
- Testar se um chatbot ou uma aplicação RAG está vulnerável a prompt injection.
- Avaliar o quanto um guardrail de LLM bloqueia entradas maliciosas.
- Comparar as taxas de sucesso dos ataques entre modelos ou variantes de conjuntos de dados.
Início rápido
- 1
Instale spikee pelo PyPI
pip install spikee - 2
Crie uma pasta para o espaço de trabalho
mkdir workspace - 3
Acesse o espaço de trabalho e inicialize-o com os conjuntos de dados e módulos integrados
cd workspace && spikee init
Antes de usar
- A instalação básica só oferece suporte a endpoints compatíveis com a OpenAI; para usar outros provedores, são necessários extras como spikee[all].
- Alguns alvos de exemplo e plugins precisam de bibliotecas de terceiros adicionais, como torch ou googletrans.
Em coleções
Tópicos
Perguntas frequentes
- O que é spikee?
- Toolkit em Python para testar LLMs, guardrails e aplicações com LLM contra ataques de prompt injection e jailbreak. O Spikee é um toolkit para avaliar o quanto LLMs, guardrails e aplicações com LLM resistem a ataques de prompt injection e jailbreak. Ele funciona em duas etapas: gera um conjunto de dados de teste a partir de pastas-semente, com a opção de transformar os payloads usando plugins, e depois executa esse conjunto contra um alvo, avaliando se cada ataque teve sucesso.
- spikee é gratuito? Qual é a licença?
- spikee é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- spikee ainda é mantido?
- Manutenção ativa. O último commit de spikee foi em 3 de nov. de 2026.
- Para que posso usar spikee?
- Fazer red teaming de um LLM independente com prompts de jailbreak. Testar se um chatbot ou uma aplicação RAG está vulnerável a prompt injection. Avaliar o quanto um guardrail de LLM bloqueia entradas maliciosas. Comparar as taxas de sucesso dos ataques entre modelos ou variantes de conjuntos de dados.
- Como instalar spikee?
- Instale spikee pelo PyPI: pip install spikee Crie uma pasta para o espaço de trabalho: mkdir workspace Acesse o espaço de trabalho e inicialize-o com os conjuntos de dados e módulos integrados: cd workspace && spikee init
- Onde consigo spikee?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/ReversecLabs/spikee
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Scanner open source de linha de comando que testa LLMs em busca de falhas como prompt injection, vazamento de dados, jailbreaks e respostas tóxicas.
Plataforma full-stack de red teaming de IA da Tencent Zhuque Lab que verifica agentes de IA, servidores MCP, Agent Skills e infraestrutura de IA em busca de riscos de segurança.
Scanner de linha de comando e biblioteca que faz red teaming de system prompts e instruções de agentes para detectar vulnerabilidades de extração e injeção de prompts.
Mecanismo open source de testes adversariais, SDK e CLI que ataca agentes de IA por endpoints ativos e transforma falhas em regras de firewall.
CLI e biblioteca de código aberto que verificam arquivos de modelos de IA, código, endpoints ativos de LLM/agentes/MCP e traces registrados de agentes, relatando problemas encontrados e lacunas.