huggingface/tokenizers

これは何？

主な機能

• 01BPE、Unigram、WordPiece、WordLevelの各トークナイゼーションモデルを実装しています。
• 02Rustコアをベースに、PythonとNode.jsのバインディングを提供します。
• 03Hugging Face Hubまたはローカルのtokenizer.jsonファイルから学習済みトークナイザーを読み込みます。
• 04attention maskとtype IDを含むencode、decode、tokenizeメソッドを提供します。
• 05サブクレートに分割されており、サービング用ビルドから学習コードを除外できます。

ユースケース

• BERTやGPT系LLMなどのTransformerモデルに渡すテキスト入力を準備する。
• 依存関係を小さく抑えながら、本番環境の推論サービス内でトークナイゼーションを実行する。
• 特定分野のコーパスを使って独自のトークナイザーを学習する。
• Node.jsまたはPythonアプリケーションで、旧形式のtokenizer.jsonファイルを変換または読み込む。

トピック

よくある質問

tokenizers とは？

Rust製の高速な最先端トークナイザーライブラリ。NLPや言語モデルのパイプライン向けにPythonとNode.jsのバインディングを提供します。 tokenizersはHugging Faceのトークナイザーライブラリで、テキストをトークンIDに変換し、また元に戻します。一般的なサブワードモデル（BPE、Unigram、WordPiece、WordLevel）に加え、トークナイゼーションパイプラインを構成するNormalizer、Pre-tokenizer、Post-processor、Decoderの各段階を実装しています。開発者はfrom_pretrainedまたはtokenizer.jsonファイルから学習済みトークナイザーを読み込み、PythonやNode.jsからテキストをエンコード、デコードできます。

tokenizers は無料で使えますか？ライセンスは？

tokenizers は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

tokenizers は今もメンテナンスされていますか？

活発にメンテナンス中。tokenizers の最終コミットは 2026年10月18日 です。

tokenizers は何に使えますか？

BERTやGPT系LLMなどのTransformerモデルに渡すテキスト入力を準備する。 依存関係を小さく抑えながら、本番環境の推論サービス内でトークナイゼーションを実行する。 特定分野のコーパスを使って独自のトークナイザーを学習する。 Node.jsまたはPythonアプリケーションで、旧形式のtokenizer.jsonファイルを変換または読み込む。

tokenizers はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/huggingface/tokenizers