Repolode
Enviar
explosion

explosion/spacy-transformers

Componentes e arquiteturas do spaCy que integram modelos transformer do Hugging Face, como BERT, RoBERTa e XLNet, a pipelines do spaCy.

Ver no GitHubSite
Estrelas
1,411
Forks
177
Issues abertas
3
Último commit
há 3 dias

O que é?

spacy-transformers fornece componentes e arquiteturas de modelos que usam modelos transformer da biblioteca transformers do Hugging Face dentro do spaCy. Depois de instalado, um pipeline pode se basear em modelos pré-treinados como BERT, RoBERTa, XLNet e GPT-2, em vez de treinar cada componente do zero.

O pacote alinha a saída do transformer à tokenização do spaCy, para que componentes posteriores, como NER ou classificação de texto, recebam features no nível dos tokens. Um único transformer pode alimentar vários componentes do pipeline, e os gradientes desses componentes podem atualizar o modelo compartilhado durante o treinamento. O treinamento usa o sistema de configuração do spaCy v3, e os usuários podem controlar quais dados do transformer são armazenados no objeto Doc e o tamanho dos segmentos em que os documentos são divididos durante o processamento.

A versão atual requer spaCy v3, PyTorch 1.5 ou posterior e Python 3.6 ou posterior. Este componente não fornece heads específicos para tarefas, como classificação de tokens ou de texto; para isso, o projeto indica o pacote separado spacy-huggingface-pipelines.

Recursos principais

  • 01Usa transformers pré-treinados, como BERT, RoBERTa e XLNet, em um pipeline do spaCy.
  • 02Compartilha um transformer entre vários componentes do pipeline para aprendizado multitarefa.
  • 03Alinha automaticamente as saídas do transformer à tokenização do spaCy.
  • 04Permite configurar quais dados do transformer são armazenados no objeto Doc.
  • 05Oferece suporte a treinamento pelo sistema de configuração do spaCy v3 e inclui serialização e empacotamento.

Casos de uso

  • Treinar um modelo de NER ou um classificador de texto do spaCy que use features de transformer para obter maior precisão.
  • Compartilhar um backbone transformer entre vários componentes do spaCy em um único pipeline.
  • Empacotar um modelo personalizado do spaCy baseado em transformer para implantação.

Início rápido

  1. 1

    Instale o pacote com pip; spaCy e PyTorch também serão instalados

    pip install 'spacy[transformers]'
  2. 2

    Para usar a GPU, verifique a versão do CUDA com nvcc e adicione a opção entre colchetes correspondente (consulte a documentação de GPU do spaCy)

  3. 3

    Se a instalação do PyTorch falhar, siga as instruções oficiais do PyTorch para o seu sistema

Antes de usar

  • Requer spaCy v3, Python 3.6 ou superior e PyTorch v1.5 ou superior.
  • O componente transformer não oferece cabeças específicas para tarefas de classificação.

Em coleções

Ferramentas e bibliotecas de processamento de linguagem natural

Tópicos

#nlp#transformers#spacy#pytorch#bert#language-model#transfer-learning#google#gpt-2#huggingface

Perguntas frequentes

O que é spacy-transformers?
Componentes e arquiteturas do spaCy que integram modelos transformer do Hugging Face, como BERT, RoBERTa e XLNet, a pipelines do spaCy. spacy-transformers fornece componentes e arquiteturas de modelos que usam modelos transformer da biblioteca transformers do Hugging Face dentro do spaCy. Depois de instalado, um pipeline pode se basear em modelos pré-treinados como BERT, RoBERTa, XLNet e GPT-2, em vez de treinar cada componente do zero.
spacy-transformers é gratuito? Qual é a licença?
spacy-transformers é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
spacy-transformers ainda é mantido?
Manutenção ativa. O último commit de spacy-transformers foi em 3 de nov. de 2026.
Para que posso usar spacy-transformers?
Treinar um modelo de NER ou um classificador de texto do spaCy que use features de transformer para obter maior precisão. Compartilhar um backbone transformer entre vários componentes do spaCy em um único pipeline. Empacotar um modelo personalizado do spaCy baseado em transformer para implantação.
Como instalar spacy-transformers?
Instale o pacote com pip; spaCy e PyTorch também serão instalados: pip install 'spacy[transformers]' Para usar a GPU, verifique a versão do CUDA com nvcc e adicione a opção entre colchetes correspondente (consulte a documentação de GPU do spaCy) Se a instalação do PyTorch falhar, siga as instruções oficiais do PyTorch para o seu sistema
Onde consigo spacy-transformers?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/explosion/spacy-transformers

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados