Repolode
Enviar
ReversecLabs

ReversecLabs/spikee

Toolkit de Python para probar LLMs, guardrails y aplicaciones basadas en LLM frente a ataques de prompt injection y jailbreak.

Ver en GitHubSitio web
Estrellas
269
Forks
54
Issues abiertos
4
Último commit
hace 4 días

¿Qué es?

Spikee es un toolkit para evaluar la resistencia de LLMs, guardrails y aplicaciones basadas en LLM frente a ataques de prompt injection y jailbreak. Funciona en dos etapas: genera un conjunto de datos de prueba a partir de carpetas semilla, con la opción de transformar los payloads mediante plugins, y luego ejecuta ese conjunto contra un objetivo para determinar si cada ataque tuvo éxito.

Cada parte del pipeline es un módulo de Python que se puede personalizar. Los targets adaptan Spikee al sistema bajo prueba; los jueces determinan si los ataques tuvieron éxito mediante coincidencias de palabras clave o expresiones regulares, o usando un LLM; y los ataques pueden generar variantes iterativas o adaptativas durante una prueba. También admite conjuntos de datos, targets y ataques de varios turnos.

Spikee ofrece una CLI para generar pruebas y analizar resultados, además de una interfaz web. De forma predeterminada, los proveedores integrados admiten endpoints compatibles con OpenAI; también hay opciones adicionales para SDK nativos como Bedrock, Azure, Ollama y Groq.

Funciones clave

  • 01Genera conjuntos de datos de prueba a partir de carpetas semilla, con transformaciones opcionales de payloads mediante plugins.
  • 02Ejecuta conjuntos de datos contra targets personalizados o integrados, como proveedores de LLM.
  • 03Evalúa si los ataques tuvieron éxito mediante comprobaciones básicas de palabras clave o expresiones regulares, o con jueces basados en LLM.
  • 04Admite ataques dinámicos, incluidas estrategias iterativas y de varios turnos.
  • 05Ofrece comandos para analizar resultados y una interfaz web.

Casos de uso

  • Hacer red teaming de un LLM independiente con prompts de jailbreak.
  • Probar la exposición a prompt injection de un chatbot o una aplicación RAG.
  • Evaluar qué tan bien un guardrail de LLM bloquea entradas maliciosas.
  • Comparar las tasas de éxito de los ataques entre modelos o variantes de conjuntos de datos.

Inicio rápido

  1. 1

    Instala spikee desde PyPI

    pip install spikee
  2. 2

    Crea una carpeta para el espacio de trabajo

    mkdir workspace
  3. 3

    Entra en el espacio de trabajo e inicialízalo con los conjuntos de datos y módulos integrados

    cd workspace && spikee init

Antes de usarlo

  • La instalación básica solo es compatible con los endpoints compatibles con OpenAI; para usar otros proveedores necesitas extras como spikee[all].
  • Algunos objetivos de ejemplo y plugins requieren bibliotecas de terceros adicionales, como torch o googletrans.

En colecciones

Frameworks de pruebas y herramientas de automatización

Temas

#prompt-injection#llm-security#red-teaming#jailbreak#llm-evaluation#pentesting#genai#llm-jailbreaks#llm-red-teaming#pentesting-tools

Preguntas frecuentes

¿Qué es spikee?
Toolkit de Python para probar LLMs, guardrails y aplicaciones basadas en LLM frente a ataques de prompt injection y jailbreak. Spikee es un toolkit para evaluar la resistencia de LLMs, guardrails y aplicaciones basadas en LLM frente a ataques de prompt injection y jailbreak. Funciona en dos etapas: genera un conjunto de datos de prueba a partir de carpetas semilla, con la opción de transformar los payloads mediante plugins, y luego ejecuta ese conjunto contra un objetivo para determinar si cada ataque tuvo éxito.
¿spikee es gratuito? ¿Qué licencia tiene?
spikee es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿spikee sigue mantenido?
Mantenimiento activo. El último commit de spikee fue el 3 nov 2026.
¿Para qué puedo usar spikee?
Hacer red teaming de un LLM independiente con prompts de jailbreak. Probar la exposición a prompt injection de un chatbot o una aplicación RAG. Evaluar qué tan bien un guardrail de LLM bloquea entradas maliciosas. Comparar las tasas de éxito de los ataques entre modelos o variantes de conjuntos de datos.
¿Cómo se instala spikee?
Instala spikee desde PyPI: pip install spikee Crea una carpeta para el espacio de trabajo: mkdir workspace Entra en el espacio de trabajo e inicialízalo con los conjuntos de datos y módulos integrados: cd workspace && spikee init
¿Dónde consigo spikee?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/ReversecLabs/spikee

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados