Repolode
confident-ai

confident-ai/deepteam

LLM 시스템과 AI 에이전트를 레드팀 테스트하고, 공격을 시뮬레이션해 취약점을 찾으며 프로덕션 가드레일을 제공하는 오픈소스 Python 프레임워크입니다.

스타
3,035
포크
497
열린 이슈
80
마지막 커밋
그저께

어떤 프로젝트인가요?

DeepTeam은 LLM 애플리케이션을 위한 레드팀 테스트 프레임워크로, 흔히 언어 모델을 대상으로 하는 침투 테스트라고 설명됩니다. 탈옥, 프롬프트 인젝션, 멀티턴 악용 등의 공격을 시뮬레이션해 AI 에이전트, RAG 파이프라인, 챗봇의 편향, PII 유출, SQL 인젝션 같은 문제를 찾아냅니다.

이 프레임워크에는 데이터 프라이버시, 책임 있는 AI, 보안, 안전성, 비즈니스, 에이전트 관련 범주로 분류된 50개 이상의 취약점 유형과 20개 이상의 싱글턴 및 멀티턴 공격 기법이 포함되어 있습니다. 각 취약점은 LLM-as-a-Judge 메트릭으로 점수를 매기며, 결과는 통과 또는 실패로 반환됩니다. 또한 OWASP Top 10 for LLMs, NIST AI RMF, MITRE ATLAS를 비롯한 프레임워크에 테스트를 매핑합니다.

테스트 외에도 DeepTeam은 프롬프트 인젝션, 유해성, 개인정보 검사 등 LLM 입력과 출력을 실시간으로 분류하는 7가지 가드레일을 제공합니다. 로컬에서 실행되며 DeepEval을 기반으로 하고, Python 또는 YAML로 설정하는 CLI에서 사용할 수 있습니다.

핵심 기능

  • 01LLM 시스템을 대상으로 탈옥, 프롬프트 인젝션, 멀티턴 공격을 시뮬레이션합니다
  • 02프라이버시, 안전성, 보안, 에이전트 관련 위험 전반에 걸쳐 50개 이상의 취약점 유형을 지원합니다
  • 03레드팀 테스트를 OWASP, NIST, MITRE AI 안전 프레임워크에 매핑합니다
  • 04입력과 출력을 실시간으로 검사하는 가드레일 7가지를 제공합니다
  • 05사용자 지정 취약점을 지원하며 Python 또는 YAML 설정을 사용하는 CLI에서 실행할 수 있습니다

활용 사례

  • 출시 전에 고객 지원 챗봇의 프롬프트 인젝션 취약성과 유해한 출력을 테스트합니다
  • RAG 파이프라인에서 PII 유출과 편향을 감사합니다
  • AI 에이전트의 도구 사용에 과도한 자율성이나 권한 부여 문제가 있는지 확인합니다
  • 프로덕션 LLM 애플리케이션에 런타임 가드레일을 추가합니다

사용 전 알아둘 점

  • 취약점 점수 산정에는 LLM-as-a-Judge를 사용하므로 테스트를 실행하려면 LLM에 액세스할 수 있어야 합니다.

토픽

자주 묻는 질문

deepteam은(는) 무엇인가요?
LLM 시스템과 AI 에이전트를 레드팀 테스트하고, 공격을 시뮬레이션해 취약점을 찾으며 프로덕션 가드레일을 제공하는 오픈소스 Python 프레임워크입니다. DeepTeam은 LLM 애플리케이션을 위한 레드팀 테스트 프레임워크로, 흔히 언어 모델을 대상으로 하는 침투 테스트라고 설명됩니다. 탈옥, 프롬프트 인젝션, 멀티턴 악용 등의 공격을 시뮬레이션해 AI 에이전트, RAG 파이프라인, 챗봇의 편향, PII 유출, SQL 인젝션 같은 문제를 찾아냅니다.
deepteam은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
deepteam은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
deepteam은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. deepteam의 마지막 커밋은 2026년 10월 20일입니다.
deepteam은(는) 어디에 사용할 수 있나요?
출시 전에 고객 지원 챗봇의 프롬프트 인젝션 취약성과 유해한 출력을 테스트합니다 RAG 파이프라인에서 PII 유출과 편향을 감사합니다 AI 에이전트의 도구 사용에 과도한 자율성이나 권한 부여 문제가 있는지 확인합니다 프로덕션 LLM 애플리케이션에 런타임 가드레일을 추가합니다
deepteam은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/confident-ai/deepteam

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트