Repolode
제출하기
explosion

explosion/spacy-transformers

BERT, RoBERTa, XLNet 같은 Hugging Face transformer 모델을 spaCy 파이프라인에 연결하는 spaCy 컴포넌트와 아키텍처입니다.

GitHub에서 보기웹사이트
스타
1,411
포크
177
열린 이슈
3
마지막 커밋
4일 전

어떤 프로젝트인가요?

spacy-transformers는 Hugging Face의 transformers 라이브러리에서 제공하는 transformer 모델을 spaCy에서 사용할 수 있도록 컴포넌트와 모델 아키텍처를 제공합니다. 설치하면 모든 컴포넌트를 처음부터 학습하는 대신 BERT, RoBERTa, XLNet, GPT-2 같은 사전 학습 모델을 기반으로 파이프라인을 구성할 수 있습니다.

이 패키지는 transformer 출력을 spaCy 토큰화 결과에 맞추므로 NER이나 텍스트 분류 같은 후속 컴포넌트가 토큰 수준의 feature를 받을 수 있습니다. 하나의 transformer를 여러 파이프라인 컴포넌트가 함께 사용할 수 있으며, 학습 중에는 각 컴포넌트에서 나온 gradient로 공유 모델을 업데이트할 수 있습니다. 학습에는 spaCy v3의 config 시스템을 사용하며, Doc 객체에 저장할 transformer 데이터와 처리를 위해 문서를 나눌 길이를 사용자가 제어할 수 있습니다.

현재 릴리스에는 spaCy v3, PyTorch 1.5 이상, Python 3.6 이상이 필요합니다. 토큰 분류나 텍스트 분류 같은 작업별 head는 이 컴포넌트에서 제공하지 않습니다. 해당 기능이 필요하다면 별도 패키지인 spacy-huggingface-pipelines를 사용하도록 안내합니다.

핵심 기능

  • 01BERT, RoBERTa, XLNet 같은 사전 학습 transformer를 spaCy 파이프라인에서 사용합니다.
  • 02멀티태스크 학습을 위해 하나의 transformer를 여러 파이프라인 컴포넌트가 공유합니다.
  • 03transformer 출력을 spaCy 토큰화 결과에 자동으로 맞춥니다.
  • 04Doc 객체에 저장할 transformer 데이터를 설정할 수 있습니다.
  • 05spaCy v3의 config 시스템을 통한 학습을 지원하며 직렬화와 패키징 기능을 포함합니다.

활용 사례

  • 더 높은 정확도를 위해 transformer feature를 사용하는 spaCy NER 또는 텍스트 분류기를 학습합니다.
  • 하나의 파이프라인에서 여러 spaCy 컴포넌트가 transformer backbone을 공유합니다.
  • 배포용 커스텀 transformer 기반 spaCy 모델을 패키징합니다.

빠른 시작

  1. 1

    pip으로 패키지를 설치하면 spaCy와 PyTorch도 함께 설치됩니다

    pip install 'spacy[transformers]'
  2. 2

    GPU를 지원하려면 nvcc로 CUDA 버전을 확인하고 해당하는 대괄호 옵션을 추가하세요(spaCy GPU 문서 참조)

  3. 3

    PyTorch 설치에 실패하면 시스템에 맞는 공식 PyTorch 설치 안내를 따르세요

사용 전 알아둘 점

  • spaCy v3, Python 3.6 이상, PyTorch v1.5 이상이 필요합니다.
  • transformer 구성 요소는 분류를 위한 작업별 헤드를 제공하지 않습니다.

포함된 컬렉션

자연어 처리 도구 및 라이브러리

토픽

#nlp#transformers#spacy#pytorch#bert#language-model#transfer-learning#google#gpt-2#huggingface

자주 묻는 질문

spacy-transformers은(는) 무엇인가요?
BERT, RoBERTa, XLNet 같은 Hugging Face transformer 모델을 spaCy 파이프라인에 연결하는 spaCy 컴포넌트와 아키텍처입니다. spacy-transformers는 Hugging Face의 transformers 라이브러리에서 제공하는 transformer 모델을 spaCy에서 사용할 수 있도록 컴포넌트와 모델 아키텍처를 제공합니다. 설치하면 모든 컴포넌트를 처음부터 학습하는 대신 BERT, RoBERTa, XLNet, GPT-2 같은 사전 학습 모델을 기반으로 파이프라인을 구성할 수 있습니다.
spacy-transformers은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
spacy-transformers은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
spacy-transformers은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. spacy-transformers의 마지막 커밋은 2026년 11월 3일입니다.
spacy-transformers은(는) 어디에 사용할 수 있나요?
더 높은 정확도를 위해 transformer feature를 사용하는 spaCy NER 또는 텍스트 분류기를 학습합니다. 하나의 파이프라인에서 여러 spaCy 컴포넌트가 transformer backbone을 공유합니다. 배포용 커스텀 transformer 기반 spaCy 모델을 패키징합니다.
spacy-transformers는 어떻게 설치하나요?
pip으로 패키지를 설치하면 spaCy와 PyTorch도 함께 설치됩니다: pip install 'spacy[transformers]' GPU를 지원하려면 nvcc로 CUDA 버전을 확인하고 해당하는 대괄호 옵션을 추가하세요(spaCy GPU 문서 참조) PyTorch 설치에 실패하면 시스템에 맞는 공식 PyTorch 설치 안내를 따르세요
spacy-transformers은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/explosion/spacy-transformers

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트