Repolode
Enviar
confident-ai

confident-ai/deepteam

Framework Python open source para red teaming de sistemas com LLMs e agentes de IA, que simula ataques para encontrar vulnerabilidades e oferece proteções para produção.

Ver no GitHubSite
Estrelas
3,035
Forks
497
Issues abertas
80
Último commit
anteontem

O que é?

DeepTeam é um framework de red teaming para aplicações com LLMs, muitas vezes descrito como teste de penetração para modelos de linguagem. Ele simula ataques como jailbreak, prompt injection e exploração em várias interações para encontrar problemas como viés, vazamento de PII e SQL injection em agentes de IA, pipelines de RAG e chatbots.

O framework inclui mais de 50 tipos de vulnerabilidade, agrupados nas categorias privacidade de dados, IA responsável, segurança, proteção, negócios e sistemas agentic, além de mais de 20 métodos de ataque de turno único e de múltiplos turnos. Cada vulnerabilidade recebe uma pontuação calculada por métricas de LLM-as-a-Judge, que retornam resultados binários de aprovação ou reprovação. O framework também mapeia os testes para referências como OWASP Top 10 for LLMs, NIST AI RMF e MITRE ATLAS.

Além dos testes, o DeepTeam oferece sete guardrails para classificar entradas e saídas de LLMs em tempo real, incluindo verificações de prompt injection, toxicidade e privacidade. Ele é executado localmente, foi desenvolvido com base no DeepEval e pode ser usado via Python ou por uma CLI configurada com YAML.

Recursos principais

  • 01Simula jailbreak, prompt injection e ataques de múltiplos turnos contra sistemas com LLMs
  • 02Inclui mais de 50 tipos de vulnerabilidade relacionados a privacidade, proteção, segurança e riscos agentic
  • 03Mapeia execuções de red teaming para frameworks de segurança de IA da OWASP, NIST e MITRE
  • 04Oferece 7 guardrails para verificar entradas e saídas em tempo real
  • 05Permite definir vulnerabilidades personalizadas e pode ser usado via Python ou CLI com configurações em YAML

Casos de uso

  • Testar um chatbot de suporte ao cliente contra prompt injection e respostas tóxicas antes do lançamento
  • Auditar um pipeline de RAG para detectar vazamento de PII e viés
  • Verificar se o uso de ferramentas por um agente de IA apresenta autonomia excessiva ou falhas de autorização
  • Adicionar guardrails em tempo de execução a uma aplicação com LLM em produção

Antes de usar

  • A pontuação de vulnerabilidades usa LLM-as-a-Judge, então você precisa ter acesso a um LLM para executar os testes.

Tópicos

#llm-security#red-teaming#ai-safety#prompt-injection#guardrails#llm-evaluation#jailbreak#llm-guardrails#llm-red-teaming#llm-safety

Perguntas frequentes

O que é deepteam?
Framework Python open source para red teaming de sistemas com LLMs e agentes de IA, que simula ataques para encontrar vulnerabilidades e oferece proteções para produção. DeepTeam é um framework de red teaming para aplicações com LLMs, muitas vezes descrito como teste de penetração para modelos de linguagem. Ele simula ataques como jailbreak, prompt injection e exploração em várias interações para encontrar problemas como viés, vazamento de PII e SQL injection em agentes de IA, pipelines de RAG e chatbots.
deepteam é gratuito? Qual é a licença?
deepteam é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
deepteam ainda é mantido?
Manutenção ativa. O último commit de deepteam foi em 20 de out. de 2026.
Para que posso usar deepteam?
Testar um chatbot de suporte ao cliente contra prompt injection e respostas tóxicas antes do lançamento Auditar um pipeline de RAG para detectar vazamento de PII e viés Verificar se o uso de ferramentas por um agente de IA apresenta autonomia excessiva ou falhas de autorização Adicionar guardrails em tempo de execução a uma aplicação com LLM em produção
Onde consigo deepteam?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/confident-ai/deepteam

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados