Repolode
NVIDIA

NVIDIA/garak

프롬프트 인젝션, 데이터 유출, 탈옥, 유해 출력 등의 실패 유형을 탐지하는 오픈 소스 커맨드라인 LLM 스캐너입니다.

스타
9,635
포크
1,390
열린 이슈
510
마지막 커밋
18시간 전

어떤 프로젝트인가요?

garak은 대규모 언어 모델을 위한 취약점 스캐너입니다. 대상 모델에 여러 프로브를 실행하고 환각, 데이터 유출, 프롬프트 인젝션, 허위 정보, 유해성, 탈옥 등의 영역에서 원치 않는 동작이 나타나는지 기록합니다. 설계는 nmap 같은 네트워크 스캐너에서 대략적인 영감을 얻었지만, LLM과 대화 시스템을 대상으로 합니다.

이 도구는 커맨드라인에서 실행합니다. 대상 유형과 모델 이름을 선택하고, 필요한 경우 --spec으로 프로브 계열이나 단일 프로브를 지정하면 garak이 각 프로브에 권장되는 탐지기를 응답에 적용합니다. 실패한 프롬프트는 실패율과 함께 보고되며, 모든 시도는 JSONL 보고서에 기록되고 공격에 성공한 경우 별도의 hit 로그에도 남습니다.

garak은 Hugging Face 모델(로컬 파이프라인 및 호스팅 엔드포인트), OpenAI, AWS Bedrock, Replicate, Cohere, Groq, NIM, LiteLLM, llama.cpp 호환 GGUF 모델, 그리고 YAML로 설정하는 임의의 REST 엔드포인트를 지원합니다. PyPI에서 설치할 수 있으며 Python 3.11 이상이 필요합니다.

핵심 기능

  • 01프롬프트 인젝션, 탈옥, 인코딩 공격, 환각, 유해성을 검사하는 다양한 프로브를 제공합니다.
  • 02Hugging Face, OpenAI, AWS Bedrock, Replicate, Cohere, Groq, NIM 및 REST 엔드포인트를 지원합니다.
  • 03기본적으로 모든 프로브를 실행하며, --spec으로 특정 모듈이나 단일 프로브만 실행할 수도 있습니다.
  • 04상세한 JSONL 실행 보고서와 공격 성공 내역을 기록하는 별도의 hit 로그를 생성합니다.
  • 05확장 가능한 프로브, 탐지기, 생성기, 하네스 플러그인 구조를 사용합니다.

활용 사례

  • 출시 전에 챗봇이나 LLM 애플리케이션을 레드팀 테스트할 때.
  • 같은 공격 세트에 대해 여러 모델의 대응력을 비교할 때.
  • 자체 호스팅 모델이나 API로 제공되는 모델이 알려진 탈옥 프롬프트에 취약한지 확인할 때.
  • 연구 또는 평가 파이프라인에 LLM 보안 자동 검사를 추가할 때.

빠른 시작

  1. 1

    PyPI에서 garak을 설치합니다

    python -m pip install -U garak
  2. 2

    OpenAI API 키를 설정합니다(예시 값을 실제 키로 바꾸세요)

    export OPENAI_API_KEY="sk-123XXXXXXXXXXXX"
  3. 3

    OpenAI 모델을 대상으로 인코딩 프롬프트 인젝션 스캔을 실행합니다

    python3 -m garak --target_type openai --target_name gpt-5-nano --spec probes.encoding

사용 전 알아둘 점

  • 호스팅 모델을 스캔하려면 OpenAI, Replicate, Cohere 등의 제공업체에서 발급한 API 키가 필요합니다.
  • README에 따르면 주로 Linux와 macOS에서 개발 및 테스트되었습니다.

토픽

자주 묻는 질문

garak은(는) 무엇인가요?
프롬프트 인젝션, 데이터 유출, 탈옥, 유해 출력 등의 실패 유형을 탐지하는 오픈 소스 커맨드라인 LLM 스캐너입니다. garak은 대규모 언어 모델을 위한 취약점 스캐너입니다. 대상 모델에 여러 프로브를 실행하고 환각, 데이터 유출, 프롬프트 인젝션, 허위 정보, 유해성, 탈옥 등의 영역에서 원치 않는 동작이 나타나는지 기록합니다. 설계는 nmap 같은 네트워크 스캐너에서 대략적인 영감을 얻었지만, LLM과 대화 시스템을 대상으로 합니다.
garak은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
garak은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
garak은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. garak의 마지막 커밋은 2026년 10월 20일입니다.
garak은(는) 어디에 사용할 수 있나요?
출시 전에 챗봇이나 LLM 애플리케이션을 레드팀 테스트할 때. 같은 공격 세트에 대해 여러 모델의 대응력을 비교할 때. 자체 호스팅 모델이나 API로 제공되는 모델이 알려진 탈옥 프롬프트에 취약한지 확인할 때. 연구 또는 평가 파이프라인에 LLM 보안 자동 검사를 추가할 때.
garak는 어떻게 설치하나요?
PyPI에서 garak을 설치합니다: python -m pip install -U garak OpenAI API 키를 설정합니다(예시 값을 실제 키로 바꾸세요): export OPENAI_API_KEY="sk-123XXXXXXXXXXXX" OpenAI 모델을 대상으로 인코딩 프롬프트 인젝션 스캔을 실행합니다: python3 -m garak --target_type openai --target_name gpt-5-nano --spec probes.encoding
garak은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/NVIDIA/garak

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트