Repolode
Enviar
huggingface

huggingface/tokenizers

Biblioteca de tokenización rápida y de vanguardia escrita en Rust, con bindings para Python y Node.js, para pipelines de NLP y modelos de lenguaje.

Ver en GitHubSitio web
Estrellas
11,183
Forks
1,226
Issues abiertos
198
Último commit
hace 6 horas

¿Qué es?

tokenizers es una biblioteca de tokenización de Hugging Face que convierte texto en IDs de tokens y viceversa. Implementa los modelos de subpalabras habituales (BPE, Unigram, WordPiece, WordLevel), junto con las etapas de normalización, pre-tokenización, postprocesamiento y decodificación que conforman un pipeline de tokenización completo. Los desarrolladores pueden cargar un tokenizador preentrenado con from_pretrained o desde un archivo tokenizer.json y, luego, codificar y decodificar texto desde Python o Node.js.

El proyecto está dividido en subcrates para que un binario de servicio pueda incluir solo la ruta de inferencia y prescindir del entrenamiento, la conversión de formatos heredados o el pretokenizador bitstream. La versión candidata actual es v1.0.0.rc.0, que se instala con pip install --pre tokenizers. Algunas API de Python de versiones anteriores, como las de entrenamiento y la salida de offsets, figuran como funciones que se volverán a incorporar antes de la versión final v1.0.

El núcleo de Rust cuenta con una ruta escalar portable y kernels específicos para NEON, SSE, AVX y WebAssembly SIMD, con selección en tiempo de ejecución en x86_64.

Funciones clave

  • 01Implementa los modelos de tokenización BPE, Unigram, WordPiece y WordLevel.
  • 02Ofrece bindings para Python y Node.js sobre un núcleo escrito en Rust.
  • 03Carga tokenizadores preentrenados desde Hugging Face Hub o desde un archivo tokenizer.json local.
  • 04Expone métodos encode, decode y tokenize con máscaras de atención e IDs de tipo.
  • 05Se divide en subcrates para que las compilaciones de servicios puedan excluir el código de entrenamiento.

Casos de uso

  • Preparar entradas de texto para modelos transformer como BERT o LLM al estilo de GPT.
  • Ejecutar la tokenización en un servicio de inferencia de producción con una huella de dependencias pequeña.
  • Entrenar un tokenizador personalizado con un corpus de un dominio específico.
  • Convertir o leer archivos tokenizer.json de formatos heredados en una aplicación Node.js o Python.

Temas

#nlp#tokenization#rust#python#language-model#transformers#bpe#wordpiece#bert#gpt

Preguntas frecuentes

¿Qué es tokenizers?
Biblioteca de tokenización rápida y de vanguardia escrita en Rust, con bindings para Python y Node.js, para pipelines de NLP y modelos de lenguaje. tokenizers es una biblioteca de tokenización de Hugging Face que convierte texto en IDs de tokens y viceversa. Implementa los modelos de subpalabras habituales (BPE, Unigram, WordPiece, WordLevel), junto con las etapas de normalización, pre-tokenización, postprocesamiento y decodificación que conforman un pipeline de tokenización completo. Los desarrolladores pueden cargar un tokenizador preentrenado con from_pretrained o desde un archivo tokenizer.json y, luego, codificar y decodificar texto desde Python o Node.js.
¿tokenizers es gratuito? ¿Qué licencia tiene?
tokenizers es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿tokenizers sigue mantenido?
Mantenimiento activo. El último commit de tokenizers fue el 18 oct 2026.
¿Para qué puedo usar tokenizers?
Preparar entradas de texto para modelos transformer como BERT o LLM al estilo de GPT. Ejecutar la tokenización en un servicio de inferencia de producción con una huella de dependencias pequeña. Entrenar un tokenizador personalizado con un corpus de un dominio específico. Convertir o leer archivos tokenizer.json de formatos heredados en una aplicación Node.js o Python.
¿Dónde consigo tokenizers?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/huggingface/tokenizers

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados