Быстрая современная библиотека токенизации на Rust с привязками для Python и Node.js для NLP- и языковых модельных пайплайнов.
data-privacy-stack/presidio
Открытый Python SDK и сервис для обнаружения и обезличивания персональных данных в тексте, изображениях и структурированных данных.
- Звёзды
- 11,404
- Форки
- 1,357
- Открытые issues
- 195
- Последний коммит
- 10 часов назад
Что это?
Presidio — это набор инструментов для защиты данных и деидентификации. Он находит такие чувствительные данные, как номера кредитных карт и социального страхования, имена, местоположения, биткоин-кошельки и номера телефонов в США, а затем удаляет их, маскирует или обезличивает. Для обнаружения используются распознавание именованных сущностей, регулярные выражения, правила и проверка контрольных сумм. Распознаватели могут быть встроенными или написанными вручную, с контекстными словами для разных языков.
Проект состоит из нескольких пакетов: analyzer для обнаружения, anonymizer для преобразования найденных данных, image redactor для удаления персональных данных из обычных изображений и медицинских изображений DICOM, а также модуля для структурированных данных. Presidio можно использовать из Python или PySpark, запускать в Docker или разворачивать в Kubernetes; также можно подключать внешние модели обнаружения персональных данных.
Presidio автоматически обнаруживает данные и не гарантирует, что найдёт все чувствительные значения. Проект рекомендует использовать его вместе с дополнительными мерами защиты.
Ключевые возможности
- 01Обнаруживает персональные данные с помощью распознавания именованных сущностей, регулярных выражений, правил и проверки контрольных сумм.
- 02Поддерживает пользовательские распознаватели и контекстные слова для разных языков.
- 03Удаляет или обезличивает найденный текст с помощью подключаемых операторов.
- 04Удаляет персональные данные из изображений, включая медицинские изображения DICOM.
- 05Работает с Python, PySpark, Docker и Kubernetes.
- 06Поддерживает подключение внешних моделей обнаружения персональных данных.
Сценарии использования
- Удаление персональных данных из логов, расшифровок чатов и документов перед хранением или анализом.
- Удаление идентификаторов, таких как лица и текст, со скриншотов и отсканированных медицинских изображений.
- Добавление защитных механизмов для персональных данных во входные и выходные данные LLM.
- Построение конвейеров деидентификации для больших наборов данных с помощью PySpark.
Быстрый старт
- 1
Установите Presidio с помощью pip (см. руководство по установке)
- 2
Чтобы запустить его, прочитайте руководство для начинающих
Что важно знать
- Обнаружение выполняется автоматически, поэтому Presidio может найти не всю конфиденциальную информацию; необходимы дополнительные меры защиты.
- В README сказано, что проект переехал в новое место. Актуальное расположение указано в заметках о переходе.
Темы
Частые вопросы
- Что такое presidio?
- Открытый Python SDK и сервис для обнаружения и обезличивания персональных данных в тексте, изображениях и структурированных данных. Presidio — это набор инструментов для защиты данных и деидентификации. Он находит такие чувствительные данные, как номера кредитных карт и социального страхования, имена, местоположения, биткоин-кошельки и номера телефонов в США, а затем удаляет их, маскирует или обезличивает. Для обнаружения используются распознавание именованных сущностей, регулярные выражения, правила и проверка контрольных сумм. Распознаватели могут быть встроенными или написанными вручную, с контекстными словами для разных языков.
- presidio можно использовать бесплатно? Какая у него лицензия?
- presidio распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- presidio всё ещё поддерживается?
- Активно поддерживается. Последний коммит в presidio — 19 окт. 2026 г..
- Для чего можно использовать presidio?
- Удаление персональных данных из логов, расшифровок чатов и документов перед хранением или анализом. Удаление идентификаторов, таких как лица и текст, со скриншотов и отсканированных медицинских изображений. Добавление защитных механизмов для персональных данных во входные и выходные данные LLM. Построение конвейеров деидентификации для больших наборов данных с помощью PySpark.
- Как установить presidio?
- Установите Presidio с помощью pip (см. руководство по установке) Чтобы запустить его, прочитайте руководство для начинающих
- Где скачать presidio?
- Исходный код и инструкции по установке — на GitHub: https://github.com/data-privacy-stack/presidio
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Преобразует неструктурированный текст в интерактивный граф знаний: LLM извлекает триплеты «субъект — предикат — объект».
Навык для агентов и Python-сервис, которые удаляют с файлов следы происхождения контента, созданного ИИ, например метаданные C2PA и невидимые символы Unicode.
CLI на Python, который автоматически блокирует компьютер, когда сопряжённый Bluetooth-телефон или умные часы выходят из зоны действия.
Открытая платформа данных на Python, объединяющая финансовые и другие источники и предоставляющая к ним доступ из Python, Excel, AI-агентов и через REST API.
Библиотека для веб-скрейпинга на Python: извлекает структурированные данные с сайтов и из локальных документов с помощью LLM и графовых пайплайнов по текстовому запросу.