Официальная реализация FlashAttention — точного и экономного по памяти attention-ядра для обучения и инференса Transformer-моделей на GPU.
huggingface/transformers
Фреймворк с определениями современных моделей машинного обучения для текста, изображений, аудио и мультимодальных задач — для обучения и инференса.
- Звёзды
- 167,893
- Форки
- 34,917
- Открытые issues
- 2,220
- Последний коммит
- 3 часа назад
Что это?
Transformers предоставляет единый слой определений современных моделей машинного обучения для работы с текстом, компьютерным зрением, аудио, видео и мультимодальными задачами. Каждая модель описывается один раз в единообразном и понятном виде, поэтому фреймворки для обучения, движки инференса и смежные библиотеки для работы с моделями могут использовать одни и те же определения.
Библиотека предлагает высокоуровневый Pipeline API, позволяющий запускать модели всего несколькими строками кода для таких задач, как генерация текста, распознавание речи, классификация изображений и визуальные ответы на вопросы. Предобученные чекпойнты скачиваются с Hugging Face Hub и сохраняются в локальном кэше для повторного использования. Модели также можно напрямую использовать для низкоуровневого обучения и настройки в PyTorch.
Для установки требуются Python 3.10+ и PyTorch 2.6+. Проект не является универсальным набором строительных блоков для нейросетей; для типовых циклов обучения в README рекомендуют Accelerate.
Ключевые возможности
- 01Pipeline API для инференса в задачах обработки текста, аудио, изображений и мультимодальных данных.
- 02Доступ к более чем миллиону предобученных чекпойнтов на Hugging Face Hub.
- 03Единообразные определения моделей, совместимые с фреймворками обучения на базе PyTorch и движками инференса.
- 04Общение с моделями прямо из командной строки с помощью transformers serve и transformers chat.
Сценарии использования
- Запуск предобученной языковой модели для генерации текста или общения в приложении на Python.
- Расшифровка речи или классификация изображений с помощью готовых моделей.
- Дообучение предобученной модели PyTorch на собственном датасете.
- Воспроизведение опубликованных архитектур моделей для исследовательских экспериментов.
Быстрый старт
- 1
Создайте и активируйте виртуальное окружение с помощью venv
python -m venv .my-env - 2
Установите Transformers с поддержкой PyTorch с помощью pip
pip install "transformers[torch]" - 3
Запустите конвейер генерации текста из кода Python (см. пример Quickstart)
Что важно знать
- Требуются Python 3.10 или новее и PyTorch 2.6 или новее.
- Для запуска больших моделей, таких как Llama или Whisper-large, требуется много памяти и желательно наличие GPU.
Темы
Частые вопросы
- Что такое transformers?
- Фреймворк с определениями современных моделей машинного обучения для текста, изображений, аудио и мультимодальных задач — для обучения и инференса. Transformers предоставляет единый слой определений современных моделей машинного обучения для работы с текстом, компьютерным зрением, аудио, видео и мультимодальными задачами. Каждая модель описывается один раз в единообразном и понятном виде, поэтому фреймворки для обучения, движки инференса и смежные библиотеки для работы с моделями могут использовать одни и те же определения.
- transformers можно использовать бесплатно? Какая у него лицензия?
- transformers распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- transformers всё ещё поддерживается?
- Активно поддерживается. Последний коммит в transformers — 20 окт. 2026 г..
- Для чего можно использовать transformers?
- Запуск предобученной языковой модели для генерации текста или общения в приложении на Python. Расшифровка речи или классификация изображений с помощью готовых моделей. Дообучение предобученной модели PyTorch на собственном датасете. Воспроизведение опубликованных архитектур моделей для исследовательских экспериментов.
- Как установить transformers?
- Создайте и активируйте виртуальное окружение с помощью venv: python -m venv .my-env Установите Transformers с поддержкой PyTorch с помощью pip: pip install "transformers[torch]" Запустите конвейер генерации текста из кода Python (см. пример Quickstart)
- Где скачать transformers?
- Исходный код и инструкции по установке — на GitHub: https://github.com/huggingface/transformers
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Официальный CLI (hf) и Python-клиент для скачивания, загрузки и управления репозиториями на Hugging Face Hub.
Коллекция из 419 предварительно обученных AI-моделей для компьютерного зрения, обработки речи, NLP и LLM, запускаемых через общий Python CLI с помощью ailia SDK.
Учебник на китайском языке, который объясняет принципы работы LLM на примере создания небольшой модели в стиле LLaMA2 с нуля: от Transformer и предобучения до дообучения, RAG и агентов.
Учебник из 12 глав с комментариями: в нём показано, как с нуля создать и обучить небольшую GPT-модель в стиле LLaMA на Python и PyTorch.
Подборка из 923 статей, лекций и научных работ по ML в формате Markdown, а также небольшой классификатор и регрессор APRL на чистом NumPy.