Набор инструментов на Python и с веб-интерфейсом для оценки и отладки ML-моделей: анализ ошибок, справедливости, интерпретируемости и причинно-следственных эффектов.
1,9 тыс.+2 за неделю507TypeScriptMITОбновлён 21 час назад
meta-pytorch/captum
Библиотека интерпретируемости моделей для PyTorch, которая показывает, какие входные признаки, нейроны и обучающие примеры влияют на предсказания модели.
- Звёзды
- 5,720
- Форки
- 574
- Открытые issues
- 91
- Последний коммит
- 7 дней назад
Что это?
Captum — библиотека для интерпретации и анализа моделей на PyTorch. Она предлагает универсальные реализации алгоритмов атрибуции, таких как Integrated Gradients, карты saliency, SmoothGrad, DeepLift и GradCAM, которые присваивают каждому элементу входных данных оценку важности для заданного предсказания.
Помимо атрибуции входных данных, Captum позволяет оценить вклад отдельных нейронов и слоёв в результат, а также включает методы на основе TracIn, которые связывают предсказания с наиболее влиятельными обучающими примерами. Библиотека также предоставляет инструменты для состязательных атак и минимального возмущения входных данных, позволяющие создавать контрфактические объяснения. Интеграция с моделями на базе torchvision и torchtext описана как простая.
Для работы библиотеки требуются Python 3.10 или новее и PyTorch 2.3 или новее; установить её можно с помощью pip или conda.
Ключевые возможности
- 01Алгоритмы атрибуции, включая Integrated Gradients, DeepLift, GradientShap и Saliency
- 02Анализ важности нейронов и слоёв с помощью методов conductance
- 03Оценка влияния обучающих данных с вариантами TracIn
- 04NoiseTunnel для сглаживания атрибуций с помощью SmoothGrad и VarGrad
- 05Состязательные атаки и возмущение входных данных для создания контрфактических объяснений
Сценарии использования
- Проверка того, на какие пиксели или токены опирается классификатор изображений или текста на PyTorch
- Отладка неожиданных результатов модели с помощью поиска влиятельных обучающих примеров
- Сравнение новых алгоритмов интерпретируемости с существующими реализациями
- Предоставление объяснений на уровне признаков для рекомендаций или предсказаний в production
Быстрый старт
- 1
Установите Captum из PyPI
pip install captum - 2
Клонируйте репозиторий для ручной установки версии для разработки
git clone https://github.com/pytorch/captum.git - 3
Перейдите в каталог проекта и установите пакет в редактируемом режиме
cd captum && pip install -e .
Что важно знать
- Требуется Python 3.10 или новее и PyTorch 2.3 или новее.
- В настоящее время DeepLift поддерживает только правило Rescale и не поддерживает все типы нелинейных функций активации.
Темы
#pytorch#interpretability#explainable-ai#feature-attribution#deep-learning#model-debugging#feature-importance#interpretable-ai#interpretable-ml
Частые вопросы
- Что такое captum?
- Библиотека интерпретируемости моделей для PyTorch, которая показывает, какие входные признаки, нейроны и обучающие примеры влияют на предсказания модели. Captum — библиотека для интерпретации и анализа моделей на PyTorch. Она предлагает универсальные реализации алгоритмов атрибуции, таких как Integrated Gradients, карты saliency, SmoothGrad, DeepLift и GradCAM, которые присваивают каждому элементу входных данных оценку важности для заданного предсказания.
- captum можно использовать бесплатно? Какая у него лицензия?
- captum распространяется с открытым исходным кодом под лицензией BSD-3-Clause. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- captum всё ещё поддерживается?
- Активно поддерживается. Последний коммит в captum — 1 нояб. 2026 г..
- Для чего можно использовать captum?
- Проверка того, на какие пиксели или токены опирается классификатор изображений или текста на PyTorch Отладка неожиданных результатов модели с помощью поиска влиятельных обучающих примеров Сравнение новых алгоритмов интерпретируемости с существующими реализациями Предоставление объяснений на уровне признаков для рекомендаций или предсказаний в production
- Как установить captum?
- Установите Captum из PyPI: pip install captum Клонируйте репозиторий для ручной установки версии для разработки: git clone https://github.com/pytorch/captum.git Перейдите в каталог проекта и установите пакет в редактируемом режиме: cd captum && pip install -e .
- Где скачать captum?
- Исходный код и инструкции по установке — на GitHub: https://github.com/meta-pytorch/captum
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Библиотека для PyTorch с методами CAM, которые визуализируют области изображения, влияющие на предсказания модели компьютерного зрения.
13 тыс.+9 за неделю1,7 тыс.PythonMITОбновлён 7 дней назад
Открытый Python-инструментарий для количественной оценки объяснений нейросетей с помощью более 30 метрик XAI в PyTorch и TensorFlow.
680+2 за неделю94Jupyter NotebookOtherОбновлён 12 дней назад
Библиотека на базе PyTorch Lightning для создания интерпретируемых моделей глубокого обучения на основе концепций, с аннотированными тензорами, интервенциями и вероятностными графическими моделями.
309+40 за неделю30PythonApache-2.0Обновлён 3 дня назад
Библиотека Python для инференса по фрагментам: она запускает детекторы объектов на тайлах больших изображений, чтобы находить мелкие объекты.
ИИ и машинное обучение#computer-vision#object-detection#small-object-detection#instance-segmentation#tiling
5,6 тыс.+16 за неделю793PythonMITАктивно поддерживаетсяОбновлён 7 дней назад
Платформа машинного обучения и ИИ для JVM: классическое ML, глубокое обучение, NLP, визуализация и инференс LLM/ONNX для Java, Kotlin и Scala.
6,4 тыс.1,1 тыс.JavaOtherАктивно поддерживаетсяОбновлён 9 часов назад