google-research/text-to-text-transfer-transformer

Что это?

Ключевые возможности

• 01Представляет задачи NLP как данные в формате «текст на входе — текст на выходе» с помощью Task, TfdsTask и TextLineTask.
• 02Объединяет несколько задач в Mixtures для многозадачного обучения с настраиваемыми коэффициентами.
• 03Предоставляет инструменты командной строки для предобучения, дообучения, оценки и декодирования.
• 04Работает на Google Cloud TPU с Mesh TensorFlow; инструкции по запуску на GPU также включены.
• 05Публикует предобученные чекпойнты от T5-Small (60M) до T5-11B (11B параметров).

Сценарии использования

• Воспроизведение экспериментов по трансферному обучению из статьи о T5.
• Дообучение опубликованных чекпойнтов T5 на собственном датасете в формате «текст на входе — текст на выходе».
• Создание собственных конвейеров многозадачного обучения NLP с объединением датасетов.
• Изучение целей предобучения и предобработки датасетов для seq2seq-моделей.

Быстрый старт

1. 1

   Установить пакет T5

   pip install t5[gcp]
2. 2

   Попробовать T5 в бесплатном руководстве Colab (TPU, локальная настройка не требуется)

3. 3

   Просмотреть доступные задачи и наборы смесей

   python -c "import t5; print(t5.data.MixtureRegistry.names())"

Что важно знать

• !В README указано, что T5 на TensorFlow с MeshTF больше не разрабатывается активно; вместо него рекомендуется T5X.
• !Обучение и дообучение рассчитаны на использование TPU Google Cloud и хранилища GCP.
• !Подготовка набора данных C4 требует загрузки около 7 ТБ и примерно 335 дней вычислений на CPU.

В подборках

Темы

Частые вопросы

Что такое text-to-text-transfer-transformer?

Кодовая база Google Research для воспроизведения экспериментов «Text-to-Text Transfer Transformer»: предобработка данных, обучение, дообучение и оценка на TPU. T5 — это кодовая база к статье «Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer». В ней каждая задача NLP представлена в формате «текст на входе — текст на выходе», а библиотека в основном предназначена для загрузки, предобработки, объединения и оценки датасетов. Пользователи создают Tasks на основе TensorFlow Datasets, текстовых файлов или собственных источников данных, задают препроцессоры, токенизацию SentencePiece и метрики, а затем объединяют задачи в Mixtures для многозадачного обучения.

text-to-text-transfer-transformer можно использовать бесплатно? Какая у него лицензия?

text-to-text-transfer-transformer распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

text-to-text-transfer-transformer всё ещё поддерживается?

Активно поддерживается. Последний коммит в text-to-text-transfer-transformer — 12 окт. 2026 г..

Для чего можно использовать text-to-text-transfer-transformer?

Воспроизведение экспериментов по трансферному обучению из статьи о T5. Дообучение опубликованных чекпойнтов T5 на собственном датасете в формате «текст на входе — текст на выходе». Создание собственных конвейеров многозадачного обучения NLP с объединением датасетов. Изучение целей предобучения и предобработки датасетов для seq2seq-моделей.

Как установить text-to-text-transfer-transformer?

Установить пакет T5: pip install t5[gcp] Попробовать T5 в бесплатном руководстве Colab (TPU, локальная настройка не требуется) Просмотреть доступные задачи и наборы смесей: python -c "import t5; print(t5.data.MixtureRegistry.names())"

Где скачать text-to-text-transfer-transformer?

Исходный код и инструкции по установке — на GitHub: https://github.com/google-research/text-to-text-transfer-transformer