Rust製の高速な最先端トークナイザーライブラリ。NLPや言語モデルのパイプライン向けにPythonとNode.jsのバインディングを提供します。
data-privacy-stack/presidio
NLP、正規表現、ルールを使ってテキスト・画像・構造化データの個人情報を検出、匿名化するオープンソースSDK。
- スター
- 11,388
- フォーク
- 1,357
- 未解決の Issue
- 197
- 最終コミット
- 19 時間前
これは何?
Presidioは、個人を特定できる情報(PII)を検出して匿名化するためのPythonフレームワークです。クレジットカード番号、氏名、場所、社会保障番号、ビットコインウォレット、米国の電話番号などのエンティティを特定し、削除、マスキングなどの変換によって匿名化します。
検出には、固有表現認識、正規表現、ルールベースのロジック、チェックサム検証を組み合わせ、複数の言語で文脈語も考慮します。カスタム認識器を追加できるほか、外部のPII検出モデルと連携できます。プロジェクトはいくつかのモジュールで構成されており、Analyzer、Anonymizer、画像の墨消し機能(DICOM医療画像を含む)、構造化データ用コンポーネントを備えています。
PresidioはPythonまたはPySparkから利用でき、Dockerで実行したり、Kubernetesにデプロイしたりできます。自動検出ですべての機密情報を確実に見つけられるとは限らないため、ほかの安全対策と併用するようプロジェクトは注意を促しています。
主な機能
- 01NER、正規表現、ルール、チェックサムを用いて、定義済みまたはカスタムのPIIエンティティを検出します。
- 02複数の言語で、文脈を考慮した認識に対応します。
- 03テキストや画像のPIIを墨消しできます。DICOM医療画像にも対応しています。
- 04外部のPII検出モデルと連携できます。
- 05Python、PySpark、Docker、Kubernetesで実行できます。
ユースケース
- 共有や分析の前に、ログ、文書、データセットから個人データを除去する。
- 医療分野のパイプラインで、医療画像や記録を匿名化する。
- LLMの入力と出力にPII対策を組み込む。
- PySparkを使った大規模なデータ処理ジョブで、機密フィールドの墨消しを自動化する。
トピック
よくある質問
- presidio とは?
- NLP、正規表現、ルールを使ってテキスト・画像・構造化データの個人情報を検出、匿名化するオープンソースSDK。 Presidioは、個人を特定できる情報(PII)を検出して匿名化するためのPythonフレームワークです。クレジットカード番号、氏名、場所、社会保障番号、ビットコインウォレット、米国の電話番号などのエンティティを特定し、削除、マスキングなどの変換によって匿名化します。
- presidio は無料で使えますか?ライセンスは?
- presidio は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- presidio は今もメンテナンスされていますか?
- 活発にメンテナンス中。presidio の最終コミットは 2026年10月18日 です。
- presidio は何に使えますか?
- 共有や分析の前に、ログ、文書、データセットから個人データを除去する。 医療分野のパイプラインで、医療画像や記録を匿名化する。 LLMの入力と出力にPII対策を組み込む。 PySparkを使った大規模なデータ処理ジョブで、機密フィールドの墨消しを自動化する。
- presidio はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/data-privacy-stack/presidio
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
LLMでテキストから主語・述語・目的語のトリプルを抽出し、インタラクティブな知識グラフとして表示するPythonツール。
LLMが実際のブラウザを操作するAIエージェント向けのOSS Pythonライブラリ。ホスト型のクラウドブラウザとエージェントAPIも利用可能。
独自データ、ライセンスデータ、公開データをアナリストやクオンツ、AIエージェント、アプリにつなぐオープンソースのデータプラットフォーム。
主要取引所に対応し、バックテストやdry-run、TelegramやWeb UIでの操作ができるオープンソースのPython製暗号資産取引ボット。
エージェントプラットフォームの構築、APIでのエージェント提供、Web UIでの管理を実現するPythonフレームワークとランタイム。