Repolode
Enviar
openai

openai/tiktoken

Un tokenizador BPE rápido para los modelos de OpenAI, que convierte texto en tokens y lo reconstruye sin pérdida.

Ver en GitHub
Estrellas
19,493
Forks
1,653
Issues abiertos
144
Último commit
hace 2 meses

¿Qué es?

tiktoken es un tokenizador de byte pair encoding (BPE) creado para los modelos de OpenAI. Convierte texto en la secuencia de tokens enteros que lee un modelo de lenguaje y decodifica los tokens para recuperar el texto original. Los desarrolladores suelen usarlo para contar tokens antes de enviar un prompt, así pueden estimar el costo o mantenerse dentro del límite de contexto de un modelo.

Puedes cargar una codificación por nombre, como o200k_base, o consultar la que usa un modelo específico, como gpt-4o. El paquete de Python se instala desde PyPI. El proyecto también incluye un submódulo educativo que muestra paso a paso cómo funcionan el entrenamiento y la codificación de BPE.

El paquete admite codificaciones personalizadas, ya sea creando directamente un objeto Encoding o registrándolas mediante un paquete de espacio de nombres de plugins tiktoken_ext.

Funciones clave

  • 01Codifica texto en tokens y decodifica los tokens para recuperar el texto original sin pérdida.
  • 02Ofrece codificaciones con nombre, como o200k_base y cl100k_base.
  • 03Busca la codificación que usa un modelo específico de OpenAI mediante encoding_for_model.
  • 04Se puede instalar desde PyPI con pip.
  • 05Permite usar codificaciones personalizadas, ya sea creándolas directamente o mediante un mecanismo de plugins.

Casos de uso

  • Contar los tokens de un prompt para estimar el uso de la API antes de enviar una solicitud.
  • Comprobar si la entrada cabe en la ventana de contexto de un modelo.
  • Aprender cómo funciona la tokenización BPE con el módulo educativo incluido.

Inicio rápido

  1. 1

    Instala el paquete desde PyPI

    pip install tiktoken
  2. 2

    Carga una codificación y realiza un viaje de ida y vuelta del texto en Python

    python -c "import tiktoken; enc = tiktoken.get_encoding('o200k_base'); assert enc.decode(enc.encode('hello world')) == 'hello world'"

Antes de usarlo

  • El README solo documenta el paquete de Python; no describe enlaces para otros lenguajes.

Temas

#tokenizer#bpe#nlp#llm#openai#python

Preguntas frecuentes

¿Qué es tiktoken?
Un tokenizador BPE rápido para los modelos de OpenAI, que convierte texto en tokens y lo reconstruye sin pérdida. tiktoken es un tokenizador de byte pair encoding (BPE) creado para los modelos de OpenAI. Convierte texto en la secuencia de tokens enteros que lee un modelo de lenguaje y decodifica los tokens para recuperar el texto original. Los desarrolladores suelen usarlo para contar tokens antes de enviar un prompt, así pueden estimar el costo o mantenerse dentro del límite de contexto de un modelo.
¿tiktoken es gratuito? ¿Qué licencia tiene?
tiktoken es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿tiktoken sigue mantenido?
Actualizado en los últimos 6 meses. El último commit de tiktoken fue el 17 ago 2026.
¿Para qué puedo usar tiktoken?
Contar los tokens de un prompt para estimar el uso de la API antes de enviar una solicitud. Comprobar si la entrada cabe en la ventana de contexto de un modelo. Aprender cómo funciona la tokenización BPE con el módulo educativo incluido.
¿Cómo se instala tiktoken?
Instala el paquete desde PyPI: pip install tiktoken Carga una codificación y realiza un viaje de ida y vuelta del texto en Python: python -c "import tiktoken; enc = tiktoken.get_encoding('o200k_base'); assert enc.decode(enc.encode('hello world')) == 'hello world'"
¿Dónde consigo tiktoken?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/openai/tiktoken

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados