Repolode
Enviar
Giskard-AI

Giskard-AI/giskard-oss

Biblioteca open source de Python para crear evals, hacer red teaming y analizar vulnerabilidades en sistemas basados en LLM y sistemas agénticos.

Ver en GitHubSitio web
Estrellas
5,945
Forks
561
Issues abiertos
77
Último commit
hace 5 días

¿Qué es?

Giskard es una biblioteca de Python para probar y evaluar sistemas agénticos. Envuelve cualquier objetivo —ya sea un LLM, un agente de caja negra o un pipeline de varios pasos— como una función invocable síncrona o asíncrona y ejecuta comprobaciones sobre sus resultados. Como las salidas de los LLM son no deterministas, sus evals combinan aserciones simples, como la comparación de cadenas, las expresiones regulares y la similitud semántica, con comprobaciones de LLM-as-judge, como Groundedness, Conformity y LLMJudge.

La versión v3 se organiza en varios paquetes especializados. giskard-checks ofrece la API de escenarios, suites y comprobaciones integradas para pruebas de regresión, grounding de RAG y conversaciones de varios turnos. giskard-scan incorpora un escáner de vulnerabilidades que genera suites de pruebas adversariales a partir de una descripción en lenguaje natural de un agente. Estas abarcan la inyección de prompts, los jailbreaks y el contenido dañino. También incluye quality_scan para evaluar bases de conocimiento.

El escaneo tabular de ML y el generador de pruebas RAGET de la versión anterior v2 siguen disponibles para quienes usan v2, pero esta versión ya no recibe mantenimiento activo. La instalación requiere Python 3.12 o posterior; los SDK de proveedores se agregan mediante extras de pip.

Funciones clave

  • 01API de escenarios para crear evals a partir de interacciones y comprobaciones
  • 02Comprobaciones integradas, como comparación de cadenas, expresiones regulares, similitud semántica y jueces basados en LLM
  • 03Comprobaciones Groundedness, Conformity y LLMJudge para evaluar RAG y seguridad
  • 04Generación automática de suites de red teaming a partir de una descripción del agente
  • 05Pruebas de inyección de prompts y categorías de amenazas de OWASP LLM Top-10
  • 06Paquetes modulares que se pueden instalar mediante extras de pip

Casos de uso

  • Probar la regresión de una aplicación con LLM después de cambiar el prompt o el modelo
  • Comprobar si las respuestas de RAG están fundamentadas en el contexto recuperado
  • Hacer red teaming a un chatbot de atención al cliente para detectar inyección de prompts y respuestas dañinas
  • Evaluar de principio a fin conversaciones de varios turnos con un agente

Inicio rápido

  1. 1

    Instala la biblioteca principal de comprobaciones

    pip install giskard
  2. 2

    Instala el complemento del escáner de vulnerabilidades

    pip install "giskard[scan]"
  3. 3

    Instala un SDK de proveedor para los jueces LLM (por ejemplo, OpenAI) y configura su clave de API

    pip install "giskard[openai]"

Antes de usarlo

  • Se requiere Python 3.12 o posterior.
  • Los jueces LLM y los escáneres necesitan una clave de API de un proveedor, como OpenAI.
  • El escaneo de ML tabular de v2 solo está disponible como versión heredada y v2 ya no recibe mantenimiento activo.

En colecciones

Frameworks de pruebas y herramientas de automatización

Temas

#llm-evaluation#red-teaming#ai-testing#llm-security#rag-evaluation#agent-evaluation#python#ai-red-team#ai-security#fairness-ai

Preguntas frecuentes

¿Qué es giskard-oss?
Biblioteca open source de Python para crear evals, hacer red teaming y analizar vulnerabilidades en sistemas basados en LLM y sistemas agénticos. Giskard es una biblioteca de Python para probar y evaluar sistemas agénticos. Envuelve cualquier objetivo —ya sea un LLM, un agente de caja negra o un pipeline de varios pasos— como una función invocable síncrona o asíncrona y ejecuta comprobaciones sobre sus resultados. Como las salidas de los LLM son no deterministas, sus evals combinan aserciones simples, como la comparación de cadenas, las expresiones regulares y la similitud semántica, con comprobaciones de LLM-as-judge, como Groundedness, Conformity y LLMJudge.
¿giskard-oss es gratuito? ¿Qué licencia tiene?
giskard-oss es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿giskard-oss sigue mantenido?
Mantenimiento activo. El último commit de giskard-oss fue el 2 nov 2026.
¿Para qué puedo usar giskard-oss?
Probar la regresión de una aplicación con LLM después de cambiar el prompt o el modelo Comprobar si las respuestas de RAG están fundamentadas en el contexto recuperado Hacer red teaming a un chatbot de atención al cliente para detectar inyección de prompts y respuestas dañinas Evaluar de principio a fin conversaciones de varios turnos con un agente
¿Cómo se instala giskard-oss?
Instala la biblioteca principal de comprobaciones: pip install giskard Instala el complemento del escáner de vulnerabilidades: pip install "giskard[scan]" Instala un SDK de proveedor para los jueces LLM (por ejemplo, OpenAI) y configura su clave de API: pip install "giskard[openai]"
¿Dónde consigo giskard-oss?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/Giskard-AI/giskard-oss

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados