Repolode
Enviar
explosion

explosion/spacy-transformers

Componentes y arquitecturas de spaCy que integran modelos transformer de Hugging Face, como BERT, RoBERTa y XLNet, en pipelines de spaCy.

Ver en GitHubSitio web
Estrellas
1,411
Forks
177
Issues abiertos
3
Último commit
hace 4 días

¿Qué es?

spacy-transformers proporciona componentes y arquitecturas de modelos de spaCy que usan modelos transformer de la biblioteca transformers de Hugging Face dentro de spaCy. Una vez instalado, un pipeline puede basarse en modelos preentrenados como BERT, RoBERTa, XLNet y GPT-2, en lugar de entrenar cada componente desde cero.

El paquete alinea las salidas del transformer con la tokenización de spaCy, para que los componentes posteriores, como NER o la clasificación de texto, reciban características a nivel de token. Un mismo transformer puede alimentar varios componentes del pipeline, y los gradientes de esos componentes pueden actualizar el modelo compartido durante el entrenamiento. El entrenamiento usa el sistema de configuración de spaCy v3, y los usuarios pueden controlar qué datos del transformer se almacenan en el objeto Doc y la longitud máxima de los segmentos en que se dividen los documentos para procesarlos.

La versión actual requiere spaCy v3, PyTorch 1.5 o posterior y Python 3.6 o posterior. Este componente no proporciona cabezales específicos para tareas, como la clasificación de tokens o de texto; para eso, el proyecto remite al paquete independiente spacy-huggingface-pipelines.

Funciones clave

  • 01Usa transformers preentrenados, como BERT, RoBERTa y XLNet, dentro de un pipeline de spaCy.
  • 02Comparte un transformer entre varios componentes del pipeline para el aprendizaje multitarea.
  • 03Alinea automáticamente las salidas del transformer con la tokenización de spaCy.
  • 04Permite configurar qué datos del transformer se almacenan en el objeto Doc.
  • 05Admite el entrenamiento mediante el sistema de configuración de spaCy v3 e incluye serialización y empaquetado.

Casos de uso

  • Entrenar un reconocedor de entidades nombradas (NER) o un clasificador de texto en spaCy que use características de un transformer para obtener mayor precisión.
  • Compartir una arquitectura base de transformer entre varios componentes de spaCy en un mismo pipeline.
  • Empaquetar un modelo personalizado de spaCy basado en transformers para su implementación.

Inicio rápido

  1. 1

    Instala el paquete con pip; también se instalarán spaCy y PyTorch

    pip install 'spacy[transformers]'
  2. 2

    Para usar la GPU, comprueba la versión de CUDA con nvcc y añade la opción entre corchetes correspondiente (consulta la documentación de GPU de spaCy)

  3. 3

    Si no se instala PyTorch, sigue las instrucciones oficiales de PyTorch para tu sistema

Antes de usarlo

  • Requiere spaCy v3, Python 3.6 o posterior y PyTorch v1.5 o posterior.
  • El componente transformer no proporciona cabezales específicos para tareas de clasificación.

En colecciones

Herramientas y bibliotecas de procesamiento del lenguaje natural

Temas

#nlp#transformers#spacy#pytorch#bert#language-model#transfer-learning#google#gpt-2#huggingface

Preguntas frecuentes

¿Qué es spacy-transformers?
Componentes y arquitecturas de spaCy que integran modelos transformer de Hugging Face, como BERT, RoBERTa y XLNet, en pipelines de spaCy. spacy-transformers proporciona componentes y arquitecturas de modelos de spaCy que usan modelos transformer de la biblioteca transformers de Hugging Face dentro de spaCy. Una vez instalado, un pipeline puede basarse en modelos preentrenados como BERT, RoBERTa, XLNet y GPT-2, en lugar de entrenar cada componente desde cero.
¿spacy-transformers es gratuito? ¿Qué licencia tiene?
spacy-transformers es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿spacy-transformers sigue mantenido?
Mantenimiento activo. El último commit de spacy-transformers fue el 3 nov 2026.
¿Para qué puedo usar spacy-transformers?
Entrenar un reconocedor de entidades nombradas (NER) o un clasificador de texto en spaCy que use características de un transformer para obtener mayor precisión. Compartir una arquitectura base de transformer entre varios componentes de spaCy en un mismo pipeline. Empaquetar un modelo personalizado de spaCy basado en transformers para su implementación.
¿Cómo se instala spacy-transformers?
Instala el paquete con pip; también se instalarán spaCy y PyTorch: pip install 'spacy[transformers]' Para usar la GPU, comprueba la versión de CUDA con nvcc y añade la opción entre corchetes correspondiente (consulta la documentación de GPU de spaCy) Si no se instala PyTorch, sigue las instrucciones oficiales de PyTorch para tu sistema
¿Dónde consigo spacy-transformers?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/explosion/spacy-transformers

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados