Repolode
Enviar
NVIDIA

NVIDIA/garak

Un escáner de código abierto para línea de comandos que prueba LLM en busca de fallos como prompt injection, filtraciones de datos, jailbreaks y respuestas tóxicas.

Ver en GitHubSitio web
Estrellas
9,635
Forks
1,390
Issues abiertos
510
Último commit
hace 16 horas

¿Qué es?

garak es un escáner de vulnerabilidades para modelos de lenguaje grandes. Ejecuta una biblioteca de pruebas contra un modelo objetivo y registra los casos en que el modelo genera comportamientos no deseados, en ámbitos como las alucinaciones, las filtraciones de datos, prompt injection, la desinformación, la toxicidad y los jailbreaks. Su diseño se inspira, en términos generales, en escáneres de red como nmap, pero está orientado a LLM y sistemas de diálogo.

La herramienta se maneja desde la línea de comandos. Se elige un tipo de objetivo y el nombre del modelo; opcionalmente, se puede limitar la ejecución a una familia de pruebas o a una prueba concreta con --spec. garak aplica a las respuestas los detectores recomendados para cada prueba. Los prompts que provocan fallos se muestran con sus tasas de fallo, y cada intento se guarda en un informe JSONL, junto con un registro independiente de los ataques exitosos.

garak es compatible con modelos de Hugging Face (pipelines locales y endpoints alojados), OpenAI, AWS Bedrock, Replicate, Cohere, Groq, NIM, LiteLLM, modelos GGUF compatibles con llama.cpp y endpoints REST arbitrarios configurados mediante YAML. Se instala desde PyPI y requiere Python 3.11 o una versión posterior.

Funciones clave

  • 01Incluye un amplio conjunto de pruebas para prompt injection, jailbreaks, ataques de codificación, alucinaciones y toxicidad.
  • 02Es compatible con Hugging Face, OpenAI, AWS Bedrock, Replicate, Cohere, Groq, NIM y endpoints REST.
  • 03De forma predeterminada, ejecuta todas las pruebas; también permite elegir un módulo o una prueba concreta mediante --spec.
  • 04Genera informes detallados de ejecución en JSONL y un registro independiente de los ataques exitosos.
  • 05Utiliza una estructura de plugins con pruebas, detectores, generadores y harnesses que se puede ampliar.

Casos de uso

  • Hacer red teaming de un chatbot o una aplicación con LLM antes de su lanzamiento.
  • Comparar la resistencia de distintos modelos frente al mismo conjunto de ataques.
  • Comprobar si un modelo autoalojado o servido mediante una API es vulnerable a prompts de jailbreak conocidos.
  • Incorporar comprobaciones automatizadas de seguridad para LLM en un pipeline de investigación o evaluación.

Inicio rápido

  1. 1

    Instala garak desde PyPI

    python -m pip install -U garak
  2. 2

    Configura tu clave de API de OpenAI (sustituye el valor de ejemplo por una clave real)

    export OPENAI_API_KEY="sk-123XXXXXXXXXXXX"
  3. 3

    Ejecuta un análisis de inyección de prompts mediante codificación contra un modelo de OpenAI

    python3 -m garak --target_type openai --target_name gpt-5-nano --spec probes.encoding

Antes de usarlo

  • Los análisis de modelos alojados requieren una clave de API del proveedor, como OpenAI, Replicate o Cohere.
  • El README indica que se desarrolla y prueba principalmente en Linux y macOS.

Temas

#llm-security#red-teaming#prompt-injection#jailbreak#vulnerability-scanner#llm-evaluation#ai-safety#ai#security-scanners#vulnerability-assessment

Preguntas frecuentes

¿Qué es garak?
Un escáner de código abierto para línea de comandos que prueba LLM en busca de fallos como prompt injection, filtraciones de datos, jailbreaks y respuestas tóxicas. garak es un escáner de vulnerabilidades para modelos de lenguaje grandes. Ejecuta una biblioteca de pruebas contra un modelo objetivo y registra los casos en que el modelo genera comportamientos no deseados, en ámbitos como las alucinaciones, las filtraciones de datos, prompt injection, la desinformación, la toxicidad y los jailbreaks. Su diseño se inspira, en términos generales, en escáneres de red como nmap, pero está orientado a LLM y sistemas de diálogo.
¿garak es gratuito? ¿Qué licencia tiene?
garak es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿garak sigue mantenido?
Mantenimiento activo. El último commit de garak fue el 20 oct 2026.
¿Para qué puedo usar garak?
Hacer red teaming de un chatbot o una aplicación con LLM antes de su lanzamiento. Comparar la resistencia de distintos modelos frente al mismo conjunto de ataques. Comprobar si un modelo autoalojado o servido mediante una API es vulnerable a prompts de jailbreak conocidos. Incorporar comprobaciones automatizadas de seguridad para LLM en un pipeline de investigación o evaluación.
¿Cómo se instala garak?
Instala garak desde PyPI: python -m pip install -U garak Configura tu clave de API de OpenAI (sustituye el valor de ejemplo por una clave real): export OPENAI_API_KEY="sk-123XXXXXXXXXXXX" Ejecuta un análisis de inyección de prompts mediante codificación contra un modelo de OpenAI: python3 -m garak --target_type openai --target_name gpt-5-nano --spec probes.encoding
¿Dónde consigo garak?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/NVIDIA/garak

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados