segment-any-text/wtpsplit

O que é?

Recursos principais

• 01Segmentação de frases em 85 idiomas usando modelos SaT pré-treinados.
• 02Divisão com restrições de comprimento e opções min_length e max_length.
• 03Segmentação opcional de parágrafos com base nas probabilidades previstas de quebras de linha.
• 04Adaptadores LoRA para idiomas, domínios e estilos de escrita específicos.
• 05Inferência via PyTorch em GPU ou TPU, compilação TorchInductor ou ONNX Runtime.

Casos de uso

• Dividir documentos brutos em frases antes de gerar embeddings ou indexá-los.
• Pré-processar transcrições ou legendas sem pontuação confiável.
• Segmentar corpora multilíngues para preparar dados de treinamento de NLP.
• Gerar blocos dentro de um limite de tamanho para pipelines posteriores de modelos de linguagem.

Início rápido

1. 1

   Instale o pacote com pip

   pip install wtpsplit
2. 2

   Importe SaT e carregue um modelo pré-treinado

   from wtpsplit import SaT
3. 3

   Divida o texto em frases

   sat.split("This is a test This is another test.")

Antes de usar

• !Para executar modelos grandes com eficiência, uma GPU oferece muito mais velocidade, e o README também a recomenda como opção.
• !Alguns recursos avançados, como ONNX e AITune, exigem instalações separadas e configurações adicionais.

Em coleções

Tópicos

Perguntas frequentes

O que é wtpsplit?

Toolkit Python para dividir textos em frases ou outras unidades semânticas, com modelos SaT e WtP pré-treinados que abrangem 85 idiomas. wtpsplit divide textos em frases e também pode separar parágrafos com base em previsões de quebras de linha. Ele oferece os modelos SaT (Segment any Text), que abrangem 85 idiomas, além dos modelos WtP anteriores, para garantir a reprodutibilidade. Os modelos são carregados pelo nome a partir do Hugging Face, e uma chamada simples a split retorna uma lista de frases para um texto ou um iterador para vários textos.

wtpsplit é gratuito? Qual é a licença?

wtpsplit é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.

wtpsplit ainda é mantido?

Manutenção ativa. O último commit de wtpsplit foi em 5 de nov. de 2026.

Para que posso usar wtpsplit?

Dividir documentos brutos em frases antes de gerar embeddings ou indexá-los. Pré-processar transcrições ou legendas sem pontuação confiável. Segmentar corpora multilíngues para preparar dados de treinamento de NLP. Gerar blocos dentro de um limite de tamanho para pipelines posteriores de modelos de linguagem.

Como instalar wtpsplit?

Instale o pacote com pip: pip install wtpsplit Importe SaT e carregue um modelo pré-treinado: from wtpsplit import SaT Divida o texto em frases: sat.split("This is a test This is another test.")

Onde consigo wtpsplit?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/segment-any-text/wtpsplit