Repolode
shibing624

shibing624/pycorrector

面向中文文本纠错的 Python 工具包,集成 KenLM、T5、MacBERT、Qwen 等多种纠错模型,开箱即用。

Star
6,534
Fork
1,165
未关闭 Issue
25
最近提交
3个月前

这是什么?

pycorrector 是一个用于中文文本纠错的 Python 工具包,主要处理音似、形似和语法错误,较新的大模型方案还能纠正多字、少字和词序错误。调用预置纠错器只需几行代码,也可以通过命令行对文件批量纠错。

项目把多种方法统一封装在相同接口下,包括基于 KenLM 语言模型和混淆集的方法、基于 MacBERT 与 T5 的纠错模型、基于 PaddlePaddle 的 ERNIE-CSC 模型,以及基于 ChatGLM3、Qwen2.5 和 Qwen3 微调的 GPT 类纠错模型。每种方法都有独立示例目录,包含训练与预测脚本,并在 SIGHAN-2015、EC-LAW、MCSC 上给出句子级 F1 对比。

此外,工具包还提供英文单词拼写纠错、繁简转换、自定义混淆集(用于误杀加白或补充召回)以及 Gradio 演示。模型首次使用时从 Hugging Face 自动下载。

核心功能

  • 01基于 Kenlm 统计语言模型与混淆集进行中文拼写纠错。
  • 02提供 MacBERT4CSC、T5、ERNIE-CSC 以及基于 ChatGLM、Qwen 的纠错模型,统一调用接口。
  • 03可输出错误位置,支持检测与纠正两类接口。
  • 04支持加载自定义混淆集与语言模型。
  • 05支持命令行批量纠错,并附带英文拼写纠错功能。

适用场景

  • 清理搜索查询、聊天消息等用户输入中的中文错别字。
  • 校对语音识别或 OCR 结果中的音似、形似错误。
  • 在统一测试集上比较不同中文纠错模型的效果。
  • 使用业务领域的错误样本微调纠错模型。

快速上手

  1. 1

    从 PyPI 安装软件包

    pip install -U pycorrector
  2. 2

    在 Python 中运行 kenlm 纠错示例

使用前须知

  • 默认的 kenlm 语言模型文件约 2.8G,内存较小的电脑运行可能吃力。
  • 基于 Qwen 等大模型的纠错效果更好,但实际使用需要 GPU 才能保证速度。

标签

常见问题

pycorrector 是什么?
面向中文文本纠错的 Python 工具包,集成 KenLM、T5、MacBERT、Qwen 等多种纠错模型,开箱即用。 pycorrector 是一个用于中文文本纠错的 Python 工具包,主要处理音似、形似和语法错误,较新的大模型方案还能纠正多字、少字和词序错误。调用预置纠错器只需几行代码,也可以通过命令行对文件批量纠错。
pycorrector 可以免费使用吗?用的什么许可证?
pycorrector 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
pycorrector 还在维护吗?
半年内有更新。pycorrector 最近一次提交是在 2026年7月25日。
pycorrector 适合用来做什么?
清理搜索查询、聊天消息等用户输入中的中文错别字。 校对语音识别或 OCR 结果中的音似、形似错误。 在统一测试集上比较不同中文纠错模型的效果。 使用业务领域的错误样本微调纠错模型。
pycorrector 怎么安装和运行?
从 PyPI 安装软件包: pip install -U pycorrector 在 Python 中运行 kenlm 纠错示例
在哪里获取 pycorrector?
源代码和安装说明在 GitHub 上:https://github.com/shibing624/pycorrector

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目