Repolode
제출하기
Giskard-AI

Giskard-AI/giskard-oss

LLM 기반 및 에이전트 시스템을 위한 평가 작성, 레드팀 테스트, 취약점 스캔용 오픈소스 Python 라이브러리입니다.

GitHub에서 보기웹사이트
스타
5,945
포크
561
열린 이슈
77
마지막 커밋
5일 전

어떤 프로젝트인가요?

Giskard는 에이전트 시스템을 테스트하고 평가하는 Python 라이브러리입니다. LLM, 블랙박스 에이전트, 여러 단계로 구성된 파이프라인 등 어떤 대상이든 동기 또는 비동기 callable로 래핑한 뒤, 출력에 대해 검사를 실행합니다. LLM 출력은 비결정적이므로 평가에는 문자열 매칭, 정규식, 의미적 유사도 같은 단순한 assertion과 Groundedness, Conformity, LLMJudge 같은 LLM-as-judge 검사가 함께 사용됩니다.

v3 릴리스는 용도별 패키지로 구성되어 있습니다. giskard-checks는 시나리오 API, 테스트 스위트, 회귀 테스트·RAG 그라운딩·멀티턴 대화를 위한 기본 제공 검사를 제공합니다. giskard-scan에는 에이전트 설명을 일반 언어로 입력하면 프롬프트 인젝션, 탈옥, 유해 콘텐츠를 다루는 적대적 테스트 스위트를 생성하는 취약점 스캐너와 지식 베이스 평가용 quality_scan이 포함됩니다.

기존 v2의 테이블형 ML 스캔과 RAGET 테스트 생성기는 v2 사용자에게 계속 제공되지만, v2는 더 이상 적극적으로 유지 관리되지 않습니다. 설치하려면 Python 3.12 이상이 필요하며, provider SDK는 pip extras를 통해 추가할 수 있습니다.

핵심 기능

  • 01상호작용과 검사로 평가를 구성하는 시나리오 API
  • 02문자열 매칭, 정규식, 의미적 유사도, LLM 판정 등을 포함한 기본 제공 검사
  • 03RAG 및 안전성 평가를 위한 Groundedness, Conformity, LLMJudge 검사
  • 04에이전트 설명을 바탕으로 자동 생성되는 레드팀 테스트 스위트
  • 05프롬프트 인젝션 탐지와 OWASP LLM Top-10 위협 카테고리
  • 06pip extras로 설치할 수 있는 모듈형 패키지

활용 사례

  • 프롬프트나 모델 변경 후 LLM 애플리케이션의 회귀 테스트
  • RAG 답변이 검색된 컨텍스트에 근거하는지 확인
  • 프롬프트 인젝션과 유해한 출력을 대상으로 고객 지원 챗봇 레드팀 테스트
  • 에이전트의 멀티턴 대화를 처음부터 끝까지 평가

빠른 시작

  1. 1

    코어 검사 라이브러리를 설치합니다

    pip install giskard
  2. 2

    취약점 스캐너 추가 기능을 설치합니다

    pip install "giskard[scan]"
  3. 3

    LLM judge용 제공업체 SDK(예: OpenAI)를 설치하고 API 키를 설정합니다

    pip install "giskard[openai]"

사용 전 알아둘 점

  • Python 3.12 이상이 필요합니다.
  • LLM judge와 스캐너를 사용하려면 OpenAI와 같은 제공업체의 API 키가 필요합니다.
  • v2 테이블 형식 ML 스캔은 레거시 전용이며, v2는 더 이상 적극적으로 유지 관리되지 않습니다.

포함된 컬렉션

테스트 프레임워크 & 자동화 테스트 도구

토픽

#llm-evaluation#red-teaming#ai-testing#llm-security#rag-evaluation#agent-evaluation#python#ai-red-team#ai-security#fairness-ai

자주 묻는 질문

giskard-oss은(는) 무엇인가요?
LLM 기반 및 에이전트 시스템을 위한 평가 작성, 레드팀 테스트, 취약점 스캔용 오픈소스 Python 라이브러리입니다. Giskard는 에이전트 시스템을 테스트하고 평가하는 Python 라이브러리입니다. LLM, 블랙박스 에이전트, 여러 단계로 구성된 파이프라인 등 어떤 대상이든 동기 또는 비동기 callable로 래핑한 뒤, 출력에 대해 검사를 실행합니다. LLM 출력은 비결정적이므로 평가에는 문자열 매칭, 정규식, 의미적 유사도 같은 단순한 assertion과 Groundedness, Conformity, LLMJudge 같은 LLM-as-judge 검사가 함께 사용됩니다.
giskard-oss은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
giskard-oss은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
giskard-oss은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. giskard-oss의 마지막 커밋은 2026년 11월 2일입니다.
giskard-oss은(는) 어디에 사용할 수 있나요?
프롬프트나 모델 변경 후 LLM 애플리케이션의 회귀 테스트 RAG 답변이 검색된 컨텍스트에 근거하는지 확인 프롬프트 인젝션과 유해한 출력을 대상으로 고객 지원 챗봇 레드팀 테스트 에이전트의 멀티턴 대화를 처음부터 끝까지 평가
giskard-oss는 어떻게 설치하나요?
코어 검사 라이브러리를 설치합니다: pip install giskard 취약점 스캐너 추가 기능을 설치합니다: pip install "giskard[scan]" LLM judge용 제공업체 SDK(예: OpenAI)를 설치하고 API 키를 설정합니다: pip install "giskard[openai]"
giskard-oss은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/Giskard-AI/giskard-oss

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트