Repolode
explosion

explosion/spacy-llm

Extensión de spaCy que integra modelos de lenguaje grandes en pipelines de NLP estructurados para tareas como NER y clasificación de texto, sin datos de entrenamiento.

Estrellas
1,398
Forks
112
Issues abiertos
50
Último commit
hace 24 días

¿Qué es?

spacy-llm integra modelos de lenguaje grandes en spaCy y permite añadir componentes basados en LLM a un pipeline estándar de spaCy. Cada componente combina una tarea (la plantilla del prompt y el parser que convierte la respuesta en texto libre del modelo en una salida estructurada) con un backend de modelo, de modo que los resultados se guardan en campos estándar de spaCy, como doc.ents o doc.cats.

El paquete incluye tareas listas para usar de reconocimiento de entidades con nombre, clasificación de texto, lematización, extracción de relaciones, análisis de sentimiento, categorización de spans, resumen, vinculación de entidades y traducción, además de una opción de prompt sin procesar. Entre los backends se encuentran OpenAI, Cohere, Anthropic, Google PaLM y Azure AI, así como modelos open source alojados en Hugging Face, como Falcon, Dolly, Llama 2, Mistral y StableLM. Los pipelines se pueden definir en el sistema de configuración de spaCy y serializar; también se pueden registrar tareas o modelos personalizados mediante el registry de spaCy.

El proyecto está pensado para crear prototipos rápidamente: puedes empezar con prompts y sin datos etiquetados, y luego combinar o sustituir componentes LLM por modelos supervisados de spaCy a medida que el proyecto madura. El paquete está marcado como experimental, por lo que las interfaces pueden cambiar en versiones menores.

Funciones clave

  • 01Componente llm serializable que añade pasos basados en prompts a un pipeline de spaCy.
  • 02Funciones modulares para tareas y modelos, incluidas las personalizadas registradas mediante el registry de spaCy.
  • 03Compatible con las API de OpenAI, Cohere, Anthropic, Google PaLM y Azure AI.
  • 04Ejecuta modelos open source de Hugging Face, como Llama 2, Mistral y Falcon.
  • 05Tareas integradas de NER, clasificación de texto, extracción de relaciones, resumen y otras.
  • 06Gestión mediante map-reduce de entradas que superan la ventana de contexto del LLM.

Casos de uso

  • Crear un prototipo de una etapa de NER o clasificación de texto antes de recopilar datos de entrenamiento etiquetados.
  • Combinar componentes basados en LLM con componentes de spaCy basados en reglas o supervisados en un mismo pipeline.
  • Extraer campos estructurados de texto no estructurado con un LLM open source alojado o local.

Inicio rápido

  1. 1

    Instala el paquete con pip

    python -m pip install spacy-llm
  2. 2

    Crea una clave de API de OpenAI y configúrala como variable de entorno

  3. 3

    Ejecuta la clasificación de texto en Python con la factoría llm_textcat

Antes de usarlo

  • Aún está en fase experimental, por lo que los cambios en la interfaz pueden causar problemas en actualizaciones de versiones menores.
  • La mayoría de los modelos integrados necesitan una clave de API de un proveedor de pago como OpenAI o un LLM alojado.

Temas

Preguntas frecuentes

¿Qué es spacy-llm?
Extensión de spaCy que integra modelos de lenguaje grandes en pipelines de NLP estructurados para tareas como NER y clasificación de texto, sin datos de entrenamiento. spacy-llm integra modelos de lenguaje grandes en spaCy y permite añadir componentes basados en LLM a un pipeline estándar de spaCy. Cada componente combina una tarea (la plantilla del prompt y el parser que convierte la respuesta en texto libre del modelo en una salida estructurada) con un backend de modelo, de modo que los resultados se guardan en campos estándar de spaCy, como doc.ents o doc.cats.
¿spacy-llm es gratuito? ¿Qué licencia tiene?
spacy-llm es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿spacy-llm sigue mantenido?
Mantenimiento activo. El último commit de spacy-llm fue el 27 sept 2026.
¿Para qué puedo usar spacy-llm?
Crear un prototipo de una etapa de NER o clasificación de texto antes de recopilar datos de entrenamiento etiquetados. Combinar componentes basados en LLM con componentes de spaCy basados en reglas o supervisados en un mismo pipeline. Extraer campos estructurados de texto no estructurado con un LLM open source alojado o local.
¿Cómo se instala spacy-llm?
Instala el paquete con pip: python -m pip install spacy-llm Crea una clave de API de OpenAI y configúrala como variable de entorno Ejecuta la clasificación de texto en Python con la factoría llm_textcat
¿Dónde consigo spacy-llm?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/explosion/spacy-llm

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados