explosion/spacy-transformers

Что это?

Ключевые возможности

• 01Использует предварительно обученные трансформеры, например BERT, RoBERTa и XLNet, в пайплайне spaCy.
• 02Позволяет нескольким компонентам пайплайна использовать один трансформер для обучения с несколькими задачами.
• 03Автоматически сопоставляет выходные данные трансформера с токенизацией spaCy.
• 04Позволяет настраивать, какие данные трансформера сохранять в объекте Doc.
• 05Поддерживает обучение через систему конфигурации spaCy v3, а также сериализацию и упаковку моделей.

Сценарии использования

• Обучение NER-модели или классификатора текста в spaCy с признаками трансформера для повышения точности.
• Использование одной базовой модели-трансформера несколькими компонентами spaCy в одном пайплайне.
• Упаковка собственной модели spaCy на основе трансформера для развёртывания.

Быстрый старт

1. 1

   Установите пакет с помощью pip — вместе с ним установятся spaCy и PyTorch

   pip install 'spacy[transformers]'
2. 2

   Чтобы использовать GPU, проверьте версию CUDA с помощью nvcc и добавьте соответствующую опцию в квадратных скобках (см. документацию spaCy по GPU)

3. 3

   Если установить PyTorch не удаётся, следуйте официальным инструкциям PyTorch для вашей системы

Что важно знать

• !Требуются spaCy v3, Python 3.6 или новее и PyTorch v1.5 или новее.
• !Компонент transformer не предоставляет специализированные для классификации task heads.

В подборках

Темы

Частые вопросы

Что такое spacy-transformers?

Компоненты и архитектуры spaCy для интеграции в пайплайны spaCy моделей-трансформеров Hugging Face, таких как BERT, RoBERTa и XLNet. spacy-transformers предоставляет компоненты и архитектуры моделей spaCy, которые позволяют использовать модели-трансформеры из библиотеки transformers от Hugging Face в spaCy. После установки пайплайн может работать с предварительно обученными моделями, такими как BERT, RoBERTa, XLNet и GPT-2, вместо того чтобы обучать каждый компонент с нуля.

spacy-transformers можно использовать бесплатно? Какая у него лицензия?

spacy-transformers распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

spacy-transformers всё ещё поддерживается?

Активно поддерживается. Последний коммит в spacy-transformers — 3 нояб. 2026 г..

Для чего можно использовать spacy-transformers?

Обучение NER-модели или классификатора текста в spaCy с признаками трансформера для повышения точности. Использование одной базовой модели-трансформера несколькими компонентами spaCy в одном пайплайне. Упаковка собственной модели spaCy на основе трансформера для развёртывания.

Как установить spacy-transformers?

Установите пакет с помощью pip — вместе с ним установятся spaCy и PyTorch: pip install 'spacy[transformers]' Чтобы использовать GPU, проверьте версию CUDA с помощью nvcc и добавьте соответствующую опцию в квадратных скобках (см. документацию spaCy по GPU) Если установить PyTorch не удаётся, следуйте официальным инструкциям PyTorch для вашей системы

Где скачать spacy-transformers?

Исходный код и инструкции по установке — на GitHub: https://github.com/explosion/spacy-transformers