Repolode
Enviar
huggingface

huggingface/tokenizers

Biblioteca de tokenização rápida e de ponta, escrita em Rust, com bindings para Python e Node.js, para pipelines de NLP e modelos de linguagem.

Ver no GitHubSite
Estrelas
11,183
Forks
1,226
Issues abertas
198
Último commit
há 7 horas

O que é?

tokenizers é uma biblioteca de tokenização da Hugging Face que transforma texto em IDs de tokens e vice-versa. Ela implementa os modelos comuns de subword (BPE, Unigram, WordPiece, WordLevel), além das etapas de normalização, pré-tokenização, pós-processamento e decodificação que compõem um pipeline completo de tokenização. Desenvolvedores podem carregar um tokenizer pré-treinado com from_pretrained ou a partir de um arquivo tokenizer.json e, então, codificar e decodificar texto em Python ou Node.js.

O projeto é dividido em subcrates para que um binário de serving possa incluir apenas o caminho de inferência e deixar de fora o treinamento, a conversão de formatos legados ou o pré-tokenizador bitstream. A versão candidata atual é v1.0.0.rc.0, instalada com pip install --pre tokenizers. Algumas APIs de Python de versões anteriores, como treinamento e saída de offsets, estão listadas como itens que serão reintroduzidos antes do lançamento final da v1.0.

O core em Rust tem um caminho escalar portátil e kernels específicos para NEON, SSE, AVX e WebAssembly SIMD, com dispatch em tempo de execução no x86_64.

Recursos principais

  • 01Implementa os modelos de tokenização BPE, Unigram, WordPiece e WordLevel.
  • 02Oferece bindings para Python e Node.js sobre um core em Rust.
  • 03Carrega tokenizers pré-treinados do Hugging Face Hub ou de um arquivo tokenizer.json local.
  • 04Disponibiliza métodos encode, decode e tokenize com máscaras de atenção e IDs de tipo.
  • 05É dividido em subcrates para que builds de serving possam excluir o código de treinamento.

Casos de uso

  • Preparar entradas de texto para modelos transformer, como BERT ou LLMs no estilo GPT.
  • Executar a tokenização em um serviço de inferência em produção com poucas dependências.
  • Treinar um tokenizer personalizado com um corpus de domínio.
  • Converter ou ler arquivos tokenizer.json legados em uma aplicação Node.js ou Python.

Tópicos

#nlp#tokenization#rust#python#language-model#transformers#bpe#wordpiece#bert#gpt

Perguntas frequentes

O que é tokenizers?
Biblioteca de tokenização rápida e de ponta, escrita em Rust, com bindings para Python e Node.js, para pipelines de NLP e modelos de linguagem. tokenizers é uma biblioteca de tokenização da Hugging Face que transforma texto em IDs de tokens e vice-versa. Ela implementa os modelos comuns de subword (BPE, Unigram, WordPiece, WordLevel), além das etapas de normalização, pré-tokenização, pós-processamento e decodificação que compõem um pipeline completo de tokenização. Desenvolvedores podem carregar um tokenizer pré-treinado com from_pretrained ou a partir de um arquivo tokenizer.json e, então, codificar e decodificar texto em Python ou Node.js.
tokenizers é gratuito? Qual é a licença?
tokenizers é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
tokenizers ainda é mantido?
Manutenção ativa. O último commit de tokenizers foi em 18 de out. de 2026.
Para que posso usar tokenizers?
Preparar entradas de texto para modelos transformer, como BERT ou LLMs no estilo GPT. Executar a tokenização em um serviço de inferência em produção com poucas dependências. Treinar um tokenizer personalizado com um corpus de domínio. Converter ou ler arquivos tokenizer.json legados em uma aplicação Node.js ou Python.
Onde consigo tokenizers?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/huggingface/tokenizers

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados