segment-any-text/wtpsplit

어떤 프로젝트인가요?

핵심 기능

• 01사전 학습 SaT 모델을 사용해 85개 언어의 문장 분리를 지원합니다.
• 02min_length 및 max_length 옵션으로 세그먼트 길이를 제한해 텍스트를 분리합니다.
• 03예측된 줄바꿈 확률을 바탕으로 문단을 선택적으로 분리합니다.
• 04특정 언어, 도메인, 문체를 위한 LoRA 어댑터를 제공합니다.
• 05GPU 또는 TPU를 사용하는 PyTorch, TorchInductor 컴파일, ONNX Runtime으로 추론할 수 있습니다.

활용 사례

• 임베딩이나 인덱싱 전에 원문을 문장 단위로 나눕니다.
• 구두점이 안정적으로 입력되지 않은 대본이나 자막을 전처리합니다.
• NLP 학습 데이터 준비를 위해 다국어 코퍼스를 분리합니다.
• 후속 언어 모델 파이프라인에서 사용할 크기 제한 청크를 만듭니다.

빠른 시작

1. 1

   pip으로 패키지를 설치합니다

   pip install wtpsplit
2. 2

   SaT를 가져오고 사전 학습된 모델을 불러옵니다

   from wtpsplit import SaT
3. 3

   텍스트를 문장으로 분할합니다

   sat.split("This is a test This is another test.")

사용 전 알아둘 점

• !대규모 모델을 효율적으로 실행하려면 GPU를 사용하는 것이 훨씬 빠르며, README에서도 선택 사항으로 권장합니다.
• !ONNX 및 AITune과 같은 일부 고급 기능은 별도 설치와 추가 설정이 필요합니다.

포함된 컬렉션

토픽

자주 묻는 질문

wtpsplit은(는) 무엇인가요?

85개 언어를 지원하는 사전 학습 SaT 및 WtP 모델로 텍스트를 문장이나 다른 의미 단위로 나누는 Python 툴킷입니다. wtpsplit은 텍스트를 문장 단위로 나누며, 줄바꿈 예측을 바탕으로 문단을 분리할 수도 있습니다. 85개 언어를 지원하는 SaT(Segment any Text) 모델과 재현성을 위한 이전 버전의 WtP 모델을 제공합니다. Hugging Face에서 모델을 이름으로 불러올 수 있으며, 간단한 split 호출로 텍스트 하나의 문장 목록을 반환하거나 여러 텍스트를 순회하는 이터레이터를 얻을 수 있습니다.

wtpsplit은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

wtpsplit은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

wtpsplit은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. wtpsplit의 마지막 커밋은 2026년 11월 5일입니다.

wtpsplit은(는) 어디에 사용할 수 있나요?

임베딩이나 인덱싱 전에 원문을 문장 단위로 나눕니다. 구두점이 안정적으로 입력되지 않은 대본이나 자막을 전처리합니다. NLP 학습 데이터 준비를 위해 다국어 코퍼스를 분리합니다. 후속 언어 모델 파이프라인에서 사용할 크기 제한 청크를 만듭니다.

wtpsplit는 어떻게 설치하나요?

pip으로 패키지를 설치합니다: pip install wtpsplit SaT를 가져오고 사전 학습된 모델을 불러옵니다: from wtpsplit import SaT 텍스트를 문장으로 분할합니다: sat.split("This is a test This is another test.")

wtpsplit은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/segment-any-text/wtpsplit