Repolode
Enviar
openai

openai/tiktoken

Um tokenizador BPE rápido para os modelos da OpenAI, usado para converter texto em tokens e vice-versa sem perda de informação.

Ver no GitHub
Estrelas
19,493
Forks
1,653
Issues abertas
144
Último commit
há 2 meses

O que é?

tiktoken é um tokenizador de byte pair encoding (BPE) desenvolvido para os modelos da OpenAI. Ele converte texto na sequência de tokens inteiros que um modelo de linguagem lê e decodifica os tokens de volta ao texto original. Desenvolvedores geralmente o usam para contar tokens antes de enviar um prompt, a fim de estimar o custo ou respeitar o limite de contexto de um modelo.

Você carrega uma codificação pelo nome, como o200k_base, ou consulta a codificação usada por um modelo específico, como gpt-4o. O pacote Python é instalado pelo PyPI. O projeto também inclui um submódulo educacional que mostra passo a passo como funcionam o treinamento e a codificação BPE.

O pacote pode ser estendido com codificações personalizadas, seja criando um objeto Encoding diretamente, seja registrando codificações por meio de um pacote de namespace de plugin tiktoken_ext.

Recursos principais

  • 01Codifica texto em tokens e decodifica os tokens de volta ao texto original sem perda de informação.
  • 02Oferece codificações nomeadas, como o200k_base e cl100k_base.
  • 03Consulta a codificação usada por um modelo específico da OpenAI via encoding_for_model.
  • 04Pode ser instalado pelo PyPI com pip.
  • 05Permite usar codificações personalizadas por criação direta ou por um mecanismo de plugin.

Casos de uso

  • Contar os tokens de um prompt para estimar o uso da API antes de enviar uma solicitação.
  • Verificar se a entrada cabe na janela de contexto de um modelo.
  • Aprender como funciona a tokenização BPE usando o módulo educacional incluído.

Início rápido

  1. 1

    Instale o pacote pelo PyPI

    pip install tiktoken
  2. 2

    Carregue uma codificação e faça um round-trip de texto em Python

    python -c "import tiktoken; enc = tiktoken.get_encoding('o200k_base'); assert enc.decode(enc.encode('hello world')) == 'hello world'"

Antes de usar

  • O README documenta apenas o pacote Python; não descreve bindings para outras linguagens.

Tópicos

#tokenizer#bpe#nlp#llm#openai#python

Perguntas frequentes

O que é tiktoken?
Um tokenizador BPE rápido para os modelos da OpenAI, usado para converter texto em tokens e vice-versa sem perda de informação. tiktoken é um tokenizador de byte pair encoding (BPE) desenvolvido para os modelos da OpenAI. Ele converte texto na sequência de tokens inteiros que um modelo de linguagem lê e decodifica os tokens de volta ao texto original. Desenvolvedores geralmente o usam para contar tokens antes de enviar um prompt, a fim de estimar o custo ou respeitar o limite de contexto de um modelo.
tiktoken é gratuito? Qual é a licença?
tiktoken é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
tiktoken ainda é mantido?
Atualizado nos últimos 6 meses. O último commit de tiktoken foi em 17 de ago. de 2026.
Para que posso usar tiktoken?
Contar os tokens de um prompt para estimar o uso da API antes de enviar uma solicitação. Verificar se a entrada cabe na janela de contexto de um modelo. Aprender como funciona a tokenização BPE usando o módulo educacional incluído.
Como instalar tiktoken?
Instale o pacote pelo PyPI: pip install tiktoken Carregue uma codificação e faça um round-trip de texto em Python: python -c "import tiktoken; enc = tiktoken.get_encoding('o200k_base'); assert enc.decode(enc.encode('hello world')) == 'hello world'"
Onde consigo tiktoken?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/openai/tiktoken

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados