Repolode
提交项目
meta-pytorch

meta-pytorch/captum

面向 PyTorch 的模型可解释性库，用于分析哪些输入特征、神经元和训练样本影响模型预测。

在 GitHub 查看官网
Star
5,720
Fork
575
未关闭 Issue
91
最近提交
6天前

这是什么？

Captum 是一个面向 PyTorch 的模型可解释性与理解库。它提供 Integrated Gradients、Saliency、SmoothGrad、DeepLift、Grad-CAM 等通用归因算法，为某次预测中的每个输入元素给出重要性分数。

除了输入归因，Captum 还能分析单个神经元和网络层对输出的贡献，并包含基于 TracIn 的方法，可将预测追溯到有影响的训练样本。库中还提供对抗攻击和最小输入扰动工具，用于生成反事实解释。它可与 torchvision、torchtext 等基于领域库构建的模型快速集成。

运行环境要求 Python 3.10 及以上、PyTorch 2.3 及以上，可通过 pip 或 conda 安装。

核心功能

  • 01提供 Integrated Gradients、DeepLift、GradientShap、Saliency 等归因算法
  • 02通过 conductance 方法分析神经元和网络层的重要性
  • 03基于 TracIn 系列方法估计训练数据的影响
  • 04借助 NoiseTunnel 用 SmoothGrad、VarGrad 平滑归因结果
  • 05提供对抗攻击和输入扰动工具，用于生成反事实解释

适用场景

  • 检查 PyTorch 图像或文本分类模型依赖哪些像素或词元
  • 通过追溯到有影响的训练样本，排查模型的异常输出
  • 将新的可解释性算法与现有实现进行对比基准测试
  • 为生产环境中的推荐或预测结果提供特征级解释

快速上手

  1. 1

    从 PyPI 安装 Captum

    pip install captum
  2. 2

    克隆仓库以进行手动开发安装

    git clone https://github.com/pytorch/captum.git
  3. 3

    进入项目目录并以可编辑模式安装

    cd captum && pip install -e .

使用前须知

  • 需要 Python 3.10 或更高版本以及 PyTorch 2.3 或更高版本。
  • DeepLift 目前仅支持 Rescale 规则，并不支持所有非线性激活类型。

标签

#pytorch#interpretability#explainable-ai#feature-attribution#deep-learning#model-debugging#feature-importance#interpretable-ai#interpretable-ml

常见问题

captum 是什么？
面向 PyTorch 的模型可解释性库，用于分析哪些输入特征、神经元和训练样本影响模型预测。 Captum 是一个面向 PyTorch 的模型可解释性与理解库。它提供 Integrated Gradients、Saliency、SmoothGrad、DeepLift、Grad-CAM 等通用归因算法，为某次预测中的每个输入元素给出重要性分数。
captum 可以免费使用吗？用的什么许可证？
captum 以 BSD-3-Clause 许可证开源。用于商业产品前，请先确认许可证条款。
captum 还在维护吗？
活跃维护中。captum 最近一次提交是在 2026年11月1日。
captum 适合用来做什么？
检查 PyTorch 图像或文本分类模型依赖哪些像素或词元 通过追溯到有影响的训练样本，排查模型的异常输出 将新的可解释性算法与现有实现进行对比基准测试 为生产环境中的推荐或预测结果提供特征级解释
captum 怎么安装和运行？
从 PyPI 安装 Captum: pip install captum 克隆仓库以进行手动开发安装: git clone https://github.com/pytorch/captum.git 进入项目目录并以可编辑模式安装: cd captum && pip install -e .
在哪里获取 captum？
源代码和安装说明在 GitHub 上：https://github.com/meta-pytorch/captum

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目