openai/tiktoken

これは何？

主な機能

• 01テキストをトークンに変換し、トークンを元のテキストに損失なく戻せます。
• 02o200k_baseやcl100k_baseなど、名前付きのエンコーディングを提供します。
• 03encoding_for_modelを使って、特定のOpenAIモデルで使われるエンコーディングを取得できます。
• 04pipを使ってPyPIからインストールできます。
• 05直接作成する方法やプラグイン機構を通じて、独自のエンコーディングを追加できます。

ユースケース

• リクエストを送信する前にプロンプトのトークン数を数え、APIの利用量を見積もる。
• 入力がモデルのコンテキストウィンドウに収まるか確認する。
• 付属の学習用モジュールを使って、BPEトークナイズの仕組みを学ぶ。

クイックスタート

1. 1

   PyPIからパッケージをインストールする

   pip install tiktoken
2. 2

   Pythonでエンコーディングを読み込み、テキストをラウンドトリップする

   python -c "import tiktoken; enc = tiktoken.get_encoding('o200k_base'); assert enc.decode(enc.encode('hello world')) == 'hello world'"

使う前に知っておきたいこと

• !READMEにはPythonパッケージについてのみ記載されており、他の言語バインディングについては説明されていません。

トピック

よくある質問

tiktoken とは？

OpenAIのモデル向けに設計された高速なBPEトークナイザーで、テキストをトークンに変換し、元に戻せます。 tiktokenは、OpenAIのモデル向けに作られたバイトペアエンコーディング（BPE）トークナイザーです。テキストを言語モデルが読み取る整数トークンの列に変換し、トークンを元のテキストに戻します。開発者は通常、プロンプトを送信する前にトークン数を数え、コストを見積もったり、モデルのコンテキスト上限を超えないようにしたりするために使います。

tiktoken は無料で使えますか？ライセンスは？

tiktoken は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

tiktoken は今もメンテナンスされていますか？

半年以内に更新あり。tiktoken の最終コミットは 2026年8月17日 です。

tiktoken は何に使えますか？

リクエストを送信する前にプロンプトのトークン数を数え、APIの利用量を見積もる。 入力がモデルのコンテキストウィンドウに収まるか確認する。 付属の学習用モジュールを使って、BPEトークナイズの仕組みを学ぶ。

tiktoken のインストール方法は？

PyPIからパッケージをインストールする: pip install tiktoken Pythonでエンコーディングを読み込み、テキストをラウンドトリップする: python -c "import tiktoken; enc = tiktoken.get_encoding('o200k_base'); assert enc.decode(enc.encode('hello world')) == 'hello world'"

tiktoken はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/openai/tiktoken