Repolode
Enviar
ZeroLeaks

ZeroLeaks/zeroleaks

Scanner de linha de comando e biblioteca que faz red teaming de system prompts e instruções de agentes para detectar vulnerabilidades de extração e injeção de prompts.

Ver no GitHubSite
Estrelas
744
Forks
112
Issues abertas
1
Último commit
mês passado

O que é?

O ZeroLeaks carrega um system prompt em um modelo à sua escolha, ataca esse modelo com testes de extração e injeção e informa como o prompt se saiu. Os testes de extração verificam se é possível convencer o modelo a revelar o próprio system prompt. Os testes de injeção verificam se ele segue instruções ocultas em documentos, resultados de ferramentas ou mensagens falsas de administradores, e se concorda em usar ferramentas de forma indevida.

O scanner roda localmente com suas próprias chaves de provedores de modelos, usando o OpenRouter por padrão ou o OpenAI diretamente. Vários agentes planejam ataques, analisam as respostas do modelo-alvo e mudam de tática durante a varredura. Um avaliador LLM classifica cada resultado como obediência total, parcial ou recusa. O corpus de injeção contém 78 testes comportamentais em categorias como sequestro de ferramentas, injeção indireta e manipulação em várias interações.

O pacote é distribuído como CLI e biblioteca TypeScript, e funciona com qualquer endpoint compatível com OpenAI, como Ollama, vLLM ou LiteLLM. Ele gera um relatório colorido no terminal ou em JSON e usa códigos de saída para rodar em CI. O projeto disponibiliza o código-fonte sob a licença FSL, mas não é open source.

Recursos principais

  • 01Executa varreduras de extração e injeção em um system prompt.
  • 02Usa vários agentes que planejam ataques e ajustam as táticas durante a varredura.
  • 03Inclui 78 testes comportamentais de injeção em seis categorias.
  • 04Usa um avaliador LLM para classificar se o modelo realmente obedeceu.
  • 05Permite usar modelos separados para o atacante, o alvo, o avaliador e o juiz.
  • 06Funciona com OpenRouter, OpenAI e endpoints locais ou hospedados compatíveis com OpenAI.
  • 07Gera relatórios no terminal ou em JSON, com códigos de saída para uso em CI.

Casos de uso

  • Testar o system prompt de um chatbot voltado a clientes antes da implantação.
  • Verificar se um agente resiste a instruções ocultas em documentos recuperados ou saídas de ferramentas.
  • Adicionar testes de regressão de segurança de prompts a um pipeline de CI.
  • Comparar o desempenho de diferentes modelos contra o mesmo prompt.

Início rápido

  1. 1

    Instale o pacote com npm

    npm install zeroleaks
  2. 2

    Configure sua chave de API da OpenRouter

    export OPENROUTER_API_KEY=sk-or-...
  3. 3

    Analise um prompt de sistema pela linha de comando

    zeroleaks scan --prompt "You are a helpful assistant..."

Antes de usar

  • Você precisa da sua própria chave de API do provedor do modelo e paga ao provedor por cada análise.
  • A licença é FSL-1.1-Apache-2.0 (com código-fonte disponível), não uma licença padrão de código aberto.
  • O README não informa qual configuração de Node/Bun é necessária além de npm install e do runtime do Bun.

Em coleções

Frameworks e apps de agentes de IA open sourceFerramentas de CLI e terminal

Tópicos

#llm-security#prompt-injection#red-teaming#ai-agents#cli#typescript#security-testing

Perguntas frequentes

O que é zeroleaks?
Scanner de linha de comando e biblioteca que faz red teaming de system prompts e instruções de agentes para detectar vulnerabilidades de extração e injeção de prompts. O ZeroLeaks carrega um system prompt em um modelo à sua escolha, ataca esse modelo com testes de extração e injeção e informa como o prompt se saiu. Os testes de extração verificam se é possível convencer o modelo a revelar o próprio system prompt. Os testes de injeção verificam se ele segue instruções ocultas em documentos, resultados de ferramentas ou mensagens falsas de administradores, e se concorda em usar ferramentas de forma indevida.
zeroleaks é gratuito? Qual é a licença?
zeroleaks é open source sob a licença Other. Confira os termos da licença antes de usá-lo em produtos comerciais.
zeroleaks ainda é mantido?
Atualizado nos últimos 6 meses. O último commit de zeroleaks foi em 26 de set. de 2026.
Para que posso usar zeroleaks?
Testar o system prompt de um chatbot voltado a clientes antes da implantação. Verificar se um agente resiste a instruções ocultas em documentos recuperados ou saídas de ferramentas. Adicionar testes de regressão de segurança de prompts a um pipeline de CI. Comparar o desempenho de diferentes modelos contra o mesmo prompt.
Como instalar zeroleaks?
Instale o pacote com npm: npm install zeroleaks Configure sua chave de API da OpenRouter: export OPENROUTER_API_KEY=sk-or-... Analise um prompt de sistema pela linha de comando: zeroleaks scan --prompt "You are a helpful assistant..."
Onde consigo zeroleaks?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/ZeroLeaks/zeroleaks

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados