Repolode
Enviar
confident-ai

confident-ai/deepteam

Framework open source de Python para hacer red teaming a sistemas LLM y agentes de IA, simular ataques, detectar vulnerabilidades y aplicar guardrails en producción.

Ver en GitHubSitio web
Estrellas
3,035
Forks
497
Issues abiertos
80
Último commit
anteayer

¿Qué es?

DeepTeam es un framework de red teaming para aplicaciones LLM, a menudo descrito como pruebas de penetración para modelos de lenguaje. Simula ataques como jailbreaking, prompt injection y explotación en varios turnos para detectar problemas como sesgos, filtraciones de PII e inyección SQL en agentes de IA, pipelines RAG y chatbots.

El framework incluye más de 50 tipos de vulnerabilidades, agrupadas en las categorías de privacidad de datos, IA responsable, seguridad, protección, negocio y agentes, además de más de 20 métodos de ataque de uno o varios turnos. Cada vulnerabilidad se evalúa con métricas LLM-as-a-Judge que devuelven resultados binarios de aprobado o fallido. También permite asociar las pruebas con marcos como OWASP Top 10 for LLMs, NIST AI RMF y MITRE ATLAS.

Además de las pruebas, DeepTeam ofrece siete guardrails para clasificar en tiempo real las entradas y salidas de LLM, por ejemplo, para detectar prompt injection, toxicidad y problemas de privacidad. Se ejecuta localmente, está basado en DeepEval y puede utilizarse desde Python o mediante una CLI configurada con YAML.

Funciones clave

  • 01Simula ataques de jailbreaking, prompt injection y de varios turnos contra sistemas LLM
  • 02Incluye más de 50 tipos de vulnerabilidades relacionadas con la privacidad, la protección, la seguridad y los riesgos de los agentes
  • 03Asocia las ejecuciones de red teaming con marcos de seguridad de IA de OWASP, NIST y MITRE
  • 04Ofrece 7 guardrails para comprobar entradas y salidas en tiempo real
  • 05Permite definir vulnerabilidades personalizadas y ejecutarlo desde Python o la CLI con archivos de configuración YAML

Casos de uso

  • Probar un chatbot de atención al cliente para detectar prompt injection y respuestas tóxicas antes de su lanzamiento
  • Auditar un pipeline RAG para detectar filtraciones de PII y sesgos
  • Comprobar si el uso de herramientas por parte de un agente de IA implica una autonomía excesiva o fallas de autorización
  • Añadir guardrails en tiempo de ejecución a una aplicación LLM en producción

Antes de usarlo

  • La puntuación de vulnerabilidades utiliza LLM-as-a-Judge, por lo que necesitas acceso a un LLM para ejecutar las pruebas.

Temas

#llm-security#red-teaming#ai-safety#prompt-injection#guardrails#llm-evaluation#jailbreak#llm-guardrails#llm-red-teaming#llm-safety

Preguntas frecuentes

¿Qué es deepteam?
Framework open source de Python para hacer red teaming a sistemas LLM y agentes de IA, simular ataques, detectar vulnerabilidades y aplicar guardrails en producción. DeepTeam es un framework de red teaming para aplicaciones LLM, a menudo descrito como pruebas de penetración para modelos de lenguaje. Simula ataques como jailbreaking, prompt injection y explotación en varios turnos para detectar problemas como sesgos, filtraciones de PII e inyección SQL en agentes de IA, pipelines RAG y chatbots.
¿deepteam es gratuito? ¿Qué licencia tiene?
deepteam es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿deepteam sigue mantenido?
Mantenimiento activo. El último commit de deepteam fue el 20 oct 2026.
¿Para qué puedo usar deepteam?
Probar un chatbot de atención al cliente para detectar prompt injection y respuestas tóxicas antes de su lanzamiento Auditar un pipeline RAG para detectar filtraciones de PII y sesgos Comprobar si el uso de herramientas por parte de un agente de IA implica una autonomía excesiva o fallas de autorización Añadir guardrails en tiempo de ejecución a una aplicación LLM en producción
¿Dónde consigo deepteam?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/confident-ai/deepteam

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados