Repolode
Enviar
NVIDIA

NVIDIA/garak

Scanner open source de linha de comando que testa LLMs em busca de falhas como prompt injection, vazamento de dados, jailbreaks e respostas tóxicas.

Ver no GitHubSite
Estrelas
9,635
Forks
1,390
Issues abertas
510
Último commit
há 16 horas

O que é?

garak é um scanner de vulnerabilidades para modelos de linguagem de grande porte. Ele executa uma biblioteca de probes contra um modelo-alvo e registra em quais situações o modelo apresenta comportamentos indesejados, cobrindo áreas como alucinação, vazamento de dados, prompt injection, desinformação, toxicidade e jailbreaks. Seu design é vagamente inspirado em scanners de rede como o nmap, mas voltado para LLMs e sistemas de diálogo.

A ferramenta é operada pela linha de comando. Você escolhe um tipo de alvo e o nome do modelo, pode limitar a execução a uma família de probes ou a uma única probe usando --spec, e o garak aplica às respostas os detectores recomendados para cada probe. Os prompts que causam falhas são reportados com taxas de falha, e cada tentativa é gravada em um relatório JSONL, com um log separado para ataques bem-sucedidos.

garak oferece suporte a modelos Hugging Face (pipelines locais e endpoints hospedados), OpenAI, AWS Bedrock, Replicate, Cohere, Groq, NIM, LiteLLM, modelos GGUF compatíveis com llama.cpp e endpoints REST arbitrários configurados por YAML. A instalação é feita pelo PyPI, e a ferramenta requer Python 3.11 ou superior.

Recursos principais

  • 01Inclui um amplo conjunto de probes para prompt injection, jailbreaks, ataques de codificação, alucinação e toxicidade.
  • 02Funciona com Hugging Face, OpenAI, AWS Bedrock, Replicate, Cohere, Groq, NIM e endpoints REST.
  • 03Executa todas as probes por padrão, ou um módulo escolhido ou uma única probe usando --spec.
  • 04Gera relatórios detalhados das execuções em JSONL e um log separado de ataques bem-sucedidos.
  • 05Usa uma estrutura de plugins com probes, detectores, geradores e harnesses, que pode ser estendida.

Casos de uso

  • Fazer red teaming de um chatbot ou aplicativo com LLM antes do lançamento.
  • Comparar o desempenho de diferentes modelos diante do mesmo conjunto de ataques.
  • Verificar se um modelo hospedado localmente ou servido por API é vulnerável a prompts de jailbreak conhecidos.
  • Adicionar verificações automatizadas de segurança para LLMs a um pipeline de pesquisa ou avaliação.

Início rápido

  1. 1

    Instale o garak pelo PyPI

    python -m pip install -U garak
  2. 2

    Defina sua chave de API da OpenAI (substitua o valor de exemplo por uma chave real)

    export OPENAI_API_KEY="sk-123XXXXXXXXXXXX"
  3. 3

    Execute uma varredura de prompt injection por codificação em um modelo da OpenAI

    python3 -m garak --target_type openai --target_name gpt-5-nano --spec probes.encoding

Antes de usar

  • A varredura de modelos hospedados exige uma chave de API do provedor, como OpenAI, Replicate ou Cohere.
  • O README informa que o projeto é desenvolvido e testado principalmente no Linux e no macOS.

Tópicos

#llm-security#red-teaming#prompt-injection#jailbreak#vulnerability-scanner#llm-evaluation#ai-safety#ai#security-scanners#vulnerability-assessment

Perguntas frequentes

O que é garak?
Scanner open source de linha de comando que testa LLMs em busca de falhas como prompt injection, vazamento de dados, jailbreaks e respostas tóxicas. garak é um scanner de vulnerabilidades para modelos de linguagem de grande porte. Ele executa uma biblioteca de probes contra um modelo-alvo e registra em quais situações o modelo apresenta comportamentos indesejados, cobrindo áreas como alucinação, vazamento de dados, prompt injection, desinformação, toxicidade e jailbreaks. Seu design é vagamente inspirado em scanners de rede como o nmap, mas voltado para LLMs e sistemas de diálogo.
garak é gratuito? Qual é a licença?
garak é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
garak ainda é mantido?
Manutenção ativa. O último commit de garak foi em 20 de out. de 2026.
Para que posso usar garak?
Fazer red teaming de um chatbot ou aplicativo com LLM antes do lançamento. Comparar o desempenho de diferentes modelos diante do mesmo conjunto de ataques. Verificar se um modelo hospedado localmente ou servido por API é vulnerável a prompts de jailbreak conhecidos. Adicionar verificações automatizadas de segurança para LLMs a um pipeline de pesquisa ou avaliação.
Como instalar garak?
Instale o garak pelo PyPI: python -m pip install -U garak Defina sua chave de API da OpenAI (substitua o valor de exemplo por uma chave real): export OPENAI_API_KEY="sk-123XXXXXXXXXXXX" Execute uma varredura de prompt injection por codificação em um modelo da OpenAI: python3 -m garak --target_type openai --target_name gpt-5-nano --spec probes.encoding
Onde consigo garak?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/NVIDIA/garak

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados