프롬프트 인젝션, 데이터 유출, 탈옥, 유해 출력 등의 실패 유형을 탐지하는 오픈 소스 커맨드라인 LLM 스캐너입니다.
confident-ai/deepteam
LLM 시스템과 AI 에이전트를 레드팀 테스트하고, 공격을 시뮬레이션해 취약점을 찾으며 프로덕션 가드레일을 제공하는 오픈소스 Python 프레임워크입니다.
- 스타
- 3,035
- 포크
- 497
- 열린 이슈
- 80
- 마지막 커밋
- 그저께
어떤 프로젝트인가요?
DeepTeam은 LLM 애플리케이션을 위한 레드팀 테스트 프레임워크로, 흔히 언어 모델을 대상으로 하는 침투 테스트라고 설명됩니다. 탈옥, 프롬프트 인젝션, 멀티턴 악용 등의 공격을 시뮬레이션해 AI 에이전트, RAG 파이프라인, 챗봇의 편향, PII 유출, SQL 인젝션 같은 문제를 찾아냅니다.
이 프레임워크에는 데이터 프라이버시, 책임 있는 AI, 보안, 안전성, 비즈니스, 에이전트 관련 범주로 분류된 50개 이상의 취약점 유형과 20개 이상의 싱글턴 및 멀티턴 공격 기법이 포함되어 있습니다. 각 취약점은 LLM-as-a-Judge 메트릭으로 점수를 매기며, 결과는 통과 또는 실패로 반환됩니다. 또한 OWASP Top 10 for LLMs, NIST AI RMF, MITRE ATLAS를 비롯한 프레임워크에 테스트를 매핑합니다.
테스트 외에도 DeepTeam은 프롬프트 인젝션, 유해성, 개인정보 검사 등 LLM 입력과 출력을 실시간으로 분류하는 7가지 가드레일을 제공합니다. 로컬에서 실행되며 DeepEval을 기반으로 하고, Python 또는 YAML로 설정하는 CLI에서 사용할 수 있습니다.
핵심 기능
- 01LLM 시스템을 대상으로 탈옥, 프롬프트 인젝션, 멀티턴 공격을 시뮬레이션합니다
- 02프라이버시, 안전성, 보안, 에이전트 관련 위험 전반에 걸쳐 50개 이상의 취약점 유형을 지원합니다
- 03레드팀 테스트를 OWASP, NIST, MITRE AI 안전 프레임워크에 매핑합니다
- 04입력과 출력을 실시간으로 검사하는 가드레일 7가지를 제공합니다
- 05사용자 지정 취약점을 지원하며 Python 또는 YAML 설정을 사용하는 CLI에서 실행할 수 있습니다
활용 사례
- 출시 전에 고객 지원 챗봇의 프롬프트 인젝션 취약성과 유해한 출력을 테스트합니다
- RAG 파이프라인에서 PII 유출과 편향을 감사합니다
- AI 에이전트의 도구 사용에 과도한 자율성이나 권한 부여 문제가 있는지 확인합니다
- 프로덕션 LLM 애플리케이션에 런타임 가드레일을 추가합니다
사용 전 알아둘 점
- 취약점 점수 산정에는 LLM-as-a-Judge를 사용하므로 테스트를 실행하려면 LLM에 액세스할 수 있어야 합니다.
토픽
자주 묻는 질문
- deepteam은(는) 무엇인가요?
- LLM 시스템과 AI 에이전트를 레드팀 테스트하고, 공격을 시뮬레이션해 취약점을 찾으며 프로덕션 가드레일을 제공하는 오픈소스 Python 프레임워크입니다. DeepTeam은 LLM 애플리케이션을 위한 레드팀 테스트 프레임워크로, 흔히 언어 모델을 대상으로 하는 침투 테스트라고 설명됩니다. 탈옥, 프롬프트 인젝션, 멀티턴 악용 등의 공격을 시뮬레이션해 AI 에이전트, RAG 파이프라인, 챗봇의 편향, PII 유출, SQL 인젝션 같은 문제를 찾아냅니다.
- deepteam은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- deepteam은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- deepteam은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. deepteam의 마지막 커밋은 2026년 10월 20일입니다.
- deepteam은(는) 어디에 사용할 수 있나요?
- 출시 전에 고객 지원 챗봇의 프롬프트 인젝션 취약성과 유해한 출력을 테스트합니다 RAG 파이프라인에서 PII 유출과 편향을 감사합니다 AI 에이전트의 도구 사용에 과도한 자율성이나 권한 부여 문제가 있는지 확인합니다 프로덕션 LLM 애플리케이션에 런타임 가드레일을 추가합니다
- deepteam은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/confident-ai/deepteam
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
LLM 기반 대화형 애플리케이션에 프로그래밍 가능한 가드레일을 추가해 주제, 대화 흐름, 출력을 제어하는 오픈 소스 Python 툴킷입니다.
Tencent Zhuque Lab이 개발한 풀스택 AI 레드팀 플랫폼으로, AI 에이전트, MCP 서버, Agent Skills, AI 인프라의 보안 위험을 검사합니다.
AI 모델 파일, 코드, 실시간 LLM/에이전트/MCP 엔드포인트와 저장된 에이전트 추적을 검증하고 발견 사항과 점검 공백을 보고하는 오픈소스 CLI 및 라이브러리입니다.
반복 루프와 언어 이탈 같은 LLM 디코딩 오류를 감지해 잘못된 토큰이 사용자에게 보이기 전에 중단하는 numpy 전용 Python 가드입니다.
선언형 설정과 CI/CD 연동을 제공하는 프롬프트 평가 및 LLM 앱 레드팀 테스트용 CLI·라이브러리입니다.