Framework para definir modelos de ponta em machine learning para texto, visão, áudio e tarefas multimodais, voltado a inferência e treinamento.
167,9 mil34,9 milPythonApache-2.0Atualizado ontem
shibing624/pycorrector
Kit de ferramentas Python para corrigir erros em textos em chinês, incluindo erros ortográficos, fonéticos, de caracteres visualmente semelhantes e gramaticais, com modelos de KenLM a LLMs baseados em Qwen.
- Estrelas
- 6,534
- Forks
- 1,165
- Issues abertas
- 25
- Último commit
- há 3 meses
O que é?
pycorrector é um kit de ferramentas Python para corrigir erros em textos em chinês. Ele identifica erros com semelhança fonética ou visual, erros gramaticais e, nos modelos mais recentes baseados em LLMs, também trata de caracteres extras ou ausentes e problemas de ordem das palavras. É possível usar um corretor pronto com poucas linhas de código ou executar a ferramenta de linha de comando incluída para processar arquivos em lote.
O projeto reúne diferentes abordagens em uma interface comum: um modelo de linguagem n-gram KenLM combinado com conjuntos de confusão, corretores seq2seq baseados em MacBERT e T5, um modelo ERNIE-CSC no PaddlePaddle e corretores no estilo GPT baseados em ChatGLM3, Qwen2.5 e Qwen3. Cada método tem um diretório de exemplos com scripts de treinamento e predição, e o projeto compara o F1 em nível de sentença nos conjuntos de dados SIGHAN-2015, EC-LAW e MCSC.
O kit também inclui um corretor ortográfico para inglês, conversão de chinês tradicional para simplificado, conjuntos de confusão personalizados para permitir termos específicos ou adicionar termos conhecidos e uma demo em Gradio. Os modelos são baixados do Hugging Face no primeiro uso.
Recursos principais
- 01Modelo n-gram KenLM com conjuntos de confusão para corrigir erros ortográficos em chinês.
- 02Corretores baseados em MacBERT4CSC, T5, ERNIE-CSC e ChatGLM/Qwen, reunidos em uma única interface.
- 03Detecção das posições com erros, com resultados em nível de caractere ou de palavra.
- 04É possível carregar conjuntos de confusão e modelos de linguagem personalizados.
- 05Correção em lote pela linha de comando e corretor ortográfico para inglês.
Casos de uso
- Corrigir erros de digitação em entradas de usuários em chinês, como consultas de busca ou mensagens de chat.
- Revisar resultados de reconhecimento de fala ou OCR com erros fonéticos ou visuais.
- Comparar diferentes modelos de correção de chinês em um conjunto de teste comum.
- Ajustar um modelo de correção com um conjunto de dados de erros específico de um domínio.
Início rápido
- 1
Instale o pacote pelo PyPI
pip install -U pycorrector - 2
Execute o exemplo de correção do kenlm em Python
Antes de usar
- O arquivo padrão do modelo de linguagem do kenlm tem cerca de 2,8 GB, o que pode ser pesado para máquinas com pouca memória.
- Modelos mais poderosos baseados em LLM, como o Qwen, exigem uma GPU para funcionar em uma velocidade prática.
Tópicos
Perguntas frequentes
- O que é pycorrector?
- Kit de ferramentas Python para corrigir erros em textos em chinês, incluindo erros ortográficos, fonéticos, de caracteres visualmente semelhantes e gramaticais, com modelos de KenLM a LLMs baseados em Qwen. pycorrector é um kit de ferramentas Python para corrigir erros em textos em chinês. Ele identifica erros com semelhança fonética ou visual, erros gramaticais e, nos modelos mais recentes baseados em LLMs, também trata de caracteres extras ou ausentes e problemas de ordem das palavras. É possível usar um corretor pronto com poucas linhas de código ou executar a ferramenta de linha de comando incluída para processar arquivos em lote.
- pycorrector é gratuito? Qual é a licença?
- pycorrector é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- pycorrector ainda é mantido?
- Atualizado nos últimos 6 meses. O último commit de pycorrector foi em 25 de jul. de 2026.
- Para que posso usar pycorrector?
- Corrigir erros de digitação em entradas de usuários em chinês, como consultas de busca ou mensagens de chat. Revisar resultados de reconhecimento de fala ou OCR com erros fonéticos ou visuais. Comparar diferentes modelos de correção de chinês em um conjunto de teste comum. Ajustar um modelo de correção com um conjunto de dados de erros específico de um domínio.
- Como instalar pycorrector?
- Instale o pacote pelo PyPI: pip install -U pycorrector Execute o exemplo de correção do kenlm em Python
- Onde consigo pycorrector?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/shibing624/pycorrector
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Biblioteca Python que executa LLMs grandes camada por camada, permitindo inferência com modelos da classe 70B em uma única GPU de 4 GB, sem quantização.
39,5 mil4 milJupyter NotebookApache-2.0Atualizado anteontem
Modelos de linguagem grandes open source ajustados para tarefas financeiras, como análise de sentimento, previsão e benchmarks de NLP financeiro.
21,4 mil3 milJupyter NotebookMITAtualizado há 28 dias
Um tokenizador BPE rápido para os modelos da OpenAI, usado para converter texto em tokens e vice-versa sem perda de informação.
19,5 mil1,7 milPythonMITAtualizado há 2 meses
Toolkit de recuperação de informações da BAAI com modelos BGE de embeddings e reranking, além de recursos para treinamento, avaliação e tutoriais de busca e RAG.
12,3 mil1,1 milPythonMITAtualizado há 2 meses
Biblioteca Python da Microsoft que comprime prompts de LLM e KV cache em até 20x, removendo tokens não essenciais com perda mínima de desempenho.
6,8 mil444PythonMITAtualizado mês passado