explosion/spacy-transformers

这是什么？

核心功能

• 01在 spaCy 流程中使用 BERT、RoBERTa、XLNet 等预训练 Transformer 模型。
• 02一个 Transformer 可同时为多个流程组件提供支持，实现多任务学习。
• 03自动将 Transformer 输出与 spaCy 的分词结果对齐。
• 04可自定义保存到 Doc 对象中的 Transformer 数据。
• 05基于 spaCy v3 配置系统进行训练，并内置序列化与模型打包功能。

适用场景

• 训练使用 Transformer 特征的 spaCy 命名实体识别或文本分类模型。
• 在同一条流程中让多个 spaCy 组件共享一个 Transformer 主干。
• 将基于 Transformer 的自定义 spaCy 模型打包用于部署。

快速上手

1. 1

   使用 pip 安装该包（会自动安装 spaCy 和 PyTorch）

   pip install 'spacy[transformers]'
2. 2

   如需 GPU 支持，用 nvcc 查看 CUDA 版本，并添加对应的方括号选项（参见 spaCy GPU 文档）

3. 3

   如果 PyTorch 安装失败，请按照 PyTorch 官网针对你系统的说明操作

使用前须知

• !需要 spaCy v3、Python 3.6+ 以及 PyTorch v1.5+。
• !transformer 组件不提供用于分类的任务专用输出头。

收录于专题

标签

常见问题

spacy-transformers 是什么？

将 BERT、RoBERTa、XLNet 等 Hugging Face 预训练 Transformer 模型接入 spaCy 流程的组件与架构。 spacy-transformers 为 spaCy 提供组件和模型架构，可在 spaCy 中调用 Hugging Face transformers 库的 Transformer 模型，如 BERT、RoBERTa、XLNet 和 GPT-2。安装后，流程可以直接基于预训练模型构建，无需从零训练每个组件。

spacy-transformers 可以免费使用吗？用的什么许可证？

spacy-transformers 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

spacy-transformers 还在维护吗？

活跃维护中。spacy-transformers 最近一次提交是在 2026年11月3日。

spacy-transformers 适合用来做什么？

训练使用 Transformer 特征的 spaCy 命名实体识别或文本分类模型。 在同一条流程中让多个 spaCy 组件共享一个 Transformer 主干。 将基于 Transformer 的自定义 spaCy 模型打包用于部署。

spacy-transformers 怎么安装和运行？

使用 pip 安装该包（会自动安装 spaCy 和 PyTorch）: pip install 'spacy[transformers]' 如需 GPU 支持，用 nvcc 查看 CUDA 版本，并添加对应的方括号选项（参见 spaCy GPU 文档） 如果 PyTorch 安装失败，请按照 PyTorch 官网针对你系统的说明操作

在哪里获取 spacy-transformers？

源代码和安装说明在 GitHub 上：https://github.com/explosion/spacy-transformers