ML 모델의 오류 패턴, 공정성, 해석 가능성, 인과 효과를 평가하고 디버깅할 수 있는 Python 및 웹 UI 도구 모음입니다.
meta-pytorch/captum
PyTorch 모델의 예측에 영향을 준 입력 특성, 뉴런, 학습 예제를 설명하는 모델 해석 라이브러리입니다.
- 스타
- 5,719
- 포크
- 574
- 열린 이슈
- 85
- 마지막 커밋
- 5일 전
어떤 프로젝트인가요?
Captum은 PyTorch용 모델 해석 및 이해 라이브러리입니다. Integrated Gradients, Saliency maps, SmoothGrad, DeepLift, GradCAM 등의 범용 어트리뷰션 알고리즘을 구현해, 특정 예측에서 각 입력 요소의 중요도 점수를 산출합니다.
입력 어트리뷰션 외에도 개별 뉴런과 레이어가 출력에 얼마나 기여하는지 측정할 수 있으며, 예측을 영향력 있는 학습 예제로 거슬러 추적하는 TracIn 기반 기법도 포함합니다. 반사실적 설명을 생성하기 위한 적대적 공격 및 최소 입력 교란 도구도 제공합니다. torchvision 및 torchtext로 만든 모델과의 통합도 간편하다고 설명합니다.
Python 3.10 이상과 PyTorch 2.3 이상이 필요하며, pip 또는 conda로 설치할 수 있습니다.
핵심 기능
- 01Integrated Gradients, DeepLift, GradientShap, Saliency 등의 어트리뷰션 알고리즘
- 02전도도 기법을 활용한 뉴런 및 레이어 중요도 분석
- 03TracIn 변형 기법을 사용한 학습 데이터 영향도 추정
- 04SmoothGrad 및 VarGrad로 어트리뷰션을 평활화하는 NoiseTunnel
- 05반사실적 설명을 위한 적대적 공격 및 입력 교란
활용 사례
- PyTorch 이미지 또는 텍스트 분류기가 어떤 입력 픽셀이나 토큰에 의존하는지 확인
- 영향력 있는 학습 예제를 추적해 예상치 못한 모델 출력을 디버깅
- 새로운 해석 알고리즘을 기존 구현과 비교해 벤치마킹
- 프로덕션 환경의 추천이나 예측에 특성 단위 설명 제공
빠른 시작
- 1
PyPI에서 Captum을 설치합니다
pip install captum - 2
개발 버전을 수동으로 설치하려면 저장소를 클론합니다
git clone https://github.com/pytorch/captum.git - 3
프로젝트 디렉터리로 이동한 다음 editable 모드로 설치합니다
cd captum && pip install -e .
사용 전 알아둘 점
- Python 3.10 이상 및 PyTorch 2.3 이상이 필요합니다.
- DeepLift는 현재 Rescale 규칙만 지원하며, 모든 비선형 활성화 유형을 지원하지는 않습니다.
토픽
자주 묻는 질문
- captum은(는) 무엇인가요?
- PyTorch 모델의 예측에 영향을 준 입력 특성, 뉴런, 학습 예제를 설명하는 모델 해석 라이브러리입니다. Captum은 PyTorch용 모델 해석 및 이해 라이브러리입니다. Integrated Gradients, Saliency maps, SmoothGrad, DeepLift, GradCAM 등의 범용 어트리뷰션 알고리즘을 구현해, 특정 예측에서 각 입력 요소의 중요도 점수를 산출합니다.
- captum은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- captum은(는) BSD-3-Clause 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- captum은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. captum의 마지막 커밋은 2026년 11월 1일입니다.
- captum은(는) 어디에 사용할 수 있나요?
- PyTorch 이미지 또는 텍스트 분류기가 어떤 입력 픽셀이나 토큰에 의존하는지 확인 영향력 있는 학습 예제를 추적해 예상치 못한 모델 출력을 디버깅 새로운 해석 알고리즘을 기존 구현과 비교해 벤치마킹 프로덕션 환경의 추천이나 예측에 특성 단위 설명 제공
- captum는 어떻게 설치하나요?
- PyPI에서 Captum을 설치합니다: pip install captum 개발 버전을 수동으로 설치하려면 저장소를 클론합니다: git clone https://github.com/pytorch/captum.git 프로젝트 디렉터리로 이동한 다음 editable 모드로 설치합니다: cd captum && pip install -e .
- captum은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/meta-pytorch/captum
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
컴퓨터 비전 모델의 예측에 영향을 준 이미지 영역을 시각화하는 CAM 기법을 구현한 PyTorch 라이브러리입니다.
PyTorch와 TensorFlow에서 30개 이상의 XAI 지표로 신경망 설명을 정량 평가하는 오픈소스 Python 툴킷입니다.
PyTorch Lightning 기반 라이브러리로, 어노테이션된 텐서와 개입, 확률 그래프 모델을 활용해 개념 기반의 해석 가능한 딥러닝 모델을 구축합니다.
큰 이미지를 타일로 나눠 객체 탐지 모델을 실행하고 작은 객체를 찾는 Python 슬라이스 추론 라이브러리입니다.
Java, Kotlin, Scala용으로 전통적인 ML, 딥러닝, NLP, 시각화, LLM/ONNX 추론을 지원하는 JVM 머신러닝 및 AI 플랫폼입니다.