google-research/text-to-text-transfer-transformer

O que é?

Recursos principais

• 01Define tarefas de NLP como dados de texto para texto por meio de Task, TfdsTask e TextLineTask.
• 02Combina várias tarefas em Mixtures para treinamento multitarefa com taxas configuráveis.
• 03Oferece ferramentas de linha de comando para pré-treinamento, fine-tuning, avaliação e decodificação.
• 04Executa em TPUs do Google Cloud com Mesh TensorFlow e inclui instruções para GPUs.
• 05Disponibiliza checkpoints pré-treinados do T5-Small (60M) ao T5-11B (11 bilhões de parâmetros).

Casos de uso

• Reproduzir os experimentos sobre transfer learning do artigo do T5.
• Fazer fine-tuning de checkpoints do T5 disponibilizados pelo projeto com um dataset personalizado de texto para texto.
• Criar pipelines personalizados de treinamento multitarefa de NLP com datasets combinados.
• Estudar objetivos de pré-treinamento e pré-processamento de datasets para modelos sequence-to-sequence.

Início rápido

1. 1

   Instale o pacote T5

   pip install t5[gcp]
2. 2

   Experimente o T5 no tutorial gratuito do Colab (TPU, sem configuração local)

3. 3

   Veja a lista de tarefas e combinações disponíveis

   python -c "import t5; print(t5.data.MixtureRegistry.names())"

Antes de usar

• !O README informa que o T5 no TensorFlow com MeshTF não está mais em desenvolvimento ativo e recomenda o T5X.
• !O treinamento e o ajuste fino são estruturados em torno das TPUs do Google Cloud e do armazenamento do GCP.
• !Preparar o conjunto de dados C4 exige baixar cerca de 7 TB e aproximadamente 335 dias de processamento de CPU.

Em coleções

Tópicos

Perguntas frequentes

O que é text-to-text-transfer-transformer?

Codebase do T5, do Google Research, para reproduzir os experimentos do “Text-to-Text Transfer Transformer”, incluindo pré-processamento de dados, treinamento, fine-tuning e avaliação em TPUs. T5 é o codebase que acompanha o artigo “Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer”. Ele trata toda tarefa de NLP como texto de entrada e texto de saída, e a biblioteca se organiza principalmente em torno de carregar, pré-processar, combinar e avaliar datasets. Os usuários definem Tasks a partir do TensorFlow Datasets, de arquivos de texto ou de fontes personalizadas, associam pré-processadores, tokenização com SentencePiece e métricas, e combinam essas Tasks em Mixtures para treinamento multitarefa.

text-to-text-transfer-transformer é gratuito? Qual é a licença?

text-to-text-transfer-transformer é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.

text-to-text-transfer-transformer ainda é mantido?

Manutenção ativa. O último commit de text-to-text-transfer-transformer foi em 12 de out. de 2026.

Para que posso usar text-to-text-transfer-transformer?

Reproduzir os experimentos sobre transfer learning do artigo do T5. Fazer fine-tuning de checkpoints do T5 disponibilizados pelo projeto com um dataset personalizado de texto para texto. Criar pipelines personalizados de treinamento multitarefa de NLP com datasets combinados. Estudar objetivos de pré-treinamento e pré-processamento de datasets para modelos sequence-to-sequence.

Como instalar text-to-text-transfer-transformer?

Instale o pacote T5: pip install t5[gcp] Experimente o T5 no tutorial gratuito do Colab (TPU, sem configuração local) Veja a lista de tarefas e combinações disponíveis: python -c "import t5; print(t5.data.MixtureRegistry.names())"

Onde consigo text-to-text-transfer-transformer?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/google-research/text-to-text-transfer-transformer