컴퓨터 비전 모델의 예측에 영향을 준 이미지 영역을 시각화하는 CAM 기법을 구현한 PyTorch 라이브러리입니다.
understandable-machine-intelligence-lab/Quantus
PyTorch와 TensorFlow에서 30개 이상의 XAI 지표로 신경망 설명을 정량 평가하는 오픈소스 Python 툴킷입니다.
- 스타
- 680
- 포크
- 94
- 열린 이슈
- 66
- 마지막 커밋
- 11일 전
어떤 프로젝트인가요?
Quantus는 신경망을 위한 설명 가능한 AI(XAI) 방법이 생성한 설명을 평가하는 툴킷입니다. saliency map을 시각적으로 비교하는 것만으로는 어떤 방법이 가장 효과적인지 판단하기 어려운 경우가 많고, 일반적으로 정답 데이터도 없기 때문에 Quantus는 설명 방법끼리 비교할 수 있는 정량 지표를 제공합니다.
지표는 충실도, 견고성, 위치 정확도, 복잡도, 무작위화(민감도), 공리적 속성의 여섯 가지 범주로 나뉩니다. 이 라이브러리는 이미지, 표 형식, 시계열 데이터를 지원하며 PyTorch나 TensorFlow로 만든 모델과 함께 사용할 수 있습니다. 미리 계산한 attribution이나 설명 함수를 전달할 수 있고, quantus.evaluate()를 한 번 호출해 여러 XAI 방법에 여러 지표를 적용할 수 있습니다.
Captum, Zennit, tf-explain의 설명 방법을 바로 사용할 수 있습니다. 이 프로젝트는 PyPI에서 설치할 수 있으며, Journal of Machine Learning Research(MLOSS 트랙)에 게재되었습니다.
핵심 기능
- 01충실도, 견고성, 위치 정확도를 비롯한 여섯 가지 범주에서 30개 이상의 평가 지표를 제공합니다.
- 02PyTorch와 TensorFlow 모델을 지원합니다.
- 03이미지, 표 형식, 시계열 데이터를 지원합니다.
- 04미리 계산한 attribution이나 임의의 설명 함수를 입력으로 받습니다.
- 05quantus.evaluate()를 사용해 여러 XAI 방법에 여러 지표를 한 번에 적용할 수 있습니다.
- 06Captum, Zennit, tf-explain과 연동됩니다.
활용 사례
- 학습된 이미지 분류기에 가장 적합한 설명 방법을 벤치마킹합니다.
- 입력에 작은 변화를 주었을 때 설명이 안정적으로 유지되는지 확인합니다.
- 연구 파이프라인에서 표 형식 데이터를 사용하는 모델의 설명 품질을 비교합니다.
- 일관된 구현으로 기존에 발표된 XAI 평가 지표를 재현합니다.
사용 전 알아둘 점
- 라이선스가 명확하게 확인되지 않았으므로(NOASSERTION으로 표시됨), 사용하기 전에 저장소의 라이선스 조건을 확인하세요.
- README에 프로젝트가 활발히 개발 중이라고 나와 있습니다. 결과를 재현할 수 있도록 특정 릴리스 버전을 고정하세요.
토픽
자주 묻는 질문
- Quantus은(는) 무엇인가요?
- PyTorch와 TensorFlow에서 30개 이상의 XAI 지표로 신경망 설명을 정량 평가하는 오픈소스 Python 툴킷입니다. Quantus는 신경망을 위한 설명 가능한 AI(XAI) 방법이 생성한 설명을 평가하는 툴킷입니다. saliency map을 시각적으로 비교하는 것만으로는 어떤 방법이 가장 효과적인지 판단하기 어려운 경우가 많고, 일반적으로 정답 데이터도 없기 때문에 Quantus는 설명 방법끼리 비교할 수 있는 정량 지표를 제공합니다.
- Quantus은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- Quantus은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- Quantus은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. Quantus의 마지막 커밋은 2026년 10월 26일입니다.
- Quantus은(는) 어디에 사용할 수 있나요?
- 학습된 이미지 분류기에 가장 적합한 설명 방법을 벤치마킹합니다. 입력에 작은 변화를 주었을 때 설명이 안정적으로 유지되는지 확인합니다. 연구 파이프라인에서 표 형식 데이터를 사용하는 모델의 설명 품질을 비교합니다. 일관된 구현으로 기존에 발표된 XAI 평가 지표를 재현합니다.
- Quantus은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/understandable-machine-intelligence-lab/Quantus
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
PyTorch 모델의 예측에 영향을 준 입력 특성, 뉴런, 학습 예제를 설명하는 모델 해석 라이브러리입니다.
PyTorch Lightning 기반 라이브러리로, 어노테이션된 텐서와 개입, 확률 그래프 모델을 활용해 개념 기반의 해석 가능한 딥러닝 모델을 구축합니다.
ML 모델의 오류 패턴, 공정성, 해석 가능성, 인과 효과를 평가하고 디버깅할 수 있는 Python 및 웹 UI 도구 모음입니다.
Keras 3는 JAX, TensorFlow, PyTorch에서 실행되고 추론에는 OpenVINO도 사용할 수 있는 딥러닝 프레임워크입니다.
ONNX, TensorFlow, PyTorch, Core ML 등 다양한 형식을 지원하는 신경망·딥러닝·머신러닝 모델 뷰어입니다.