面向文本、视觉、音频和多模态的前沿机器学习模型定义框架,可用于推理和训练。
shibing624/pycorrector
面向中文文本纠错的 Python 工具包,集成 KenLM、T5、MacBERT、Qwen 等多种纠错模型,开箱即用。
- Star
- 6,534
- Fork
- 1,165
- 未关闭 Issue
- 25
- 最近提交
- 3个月前
这是什么?
pycorrector 是一个用于中文文本纠错的 Python 工具包,主要处理音似、形似和语法错误,较新的大模型方案还能纠正多字、少字和词序错误。调用预置纠错器只需几行代码,也可以通过命令行对文件批量纠错。
项目把多种方法统一封装在相同接口下,包括基于 KenLM 语言模型和混淆集的方法、基于 MacBERT 与 T5 的纠错模型、基于 PaddlePaddle 的 ERNIE-CSC 模型,以及基于 ChatGLM3、Qwen2.5 和 Qwen3 微调的 GPT 类纠错模型。每种方法都有独立示例目录,包含训练与预测脚本,并在 SIGHAN-2015、EC-LAW、MCSC 上给出句子级 F1 对比。
此外,工具包还提供英文单词拼写纠错、繁简转换、自定义混淆集(用于误杀加白或补充召回)以及 Gradio 演示。模型首次使用时从 Hugging Face 自动下载。
核心功能
- 01基于 Kenlm 统计语言模型与混淆集进行中文拼写纠错。
- 02提供 MacBERT4CSC、T5、ERNIE-CSC 以及基于 ChatGLM、Qwen 的纠错模型,统一调用接口。
- 03可输出错误位置,支持检测与纠正两类接口。
- 04支持加载自定义混淆集与语言模型。
- 05支持命令行批量纠错,并附带英文拼写纠错功能。
适用场景
- 清理搜索查询、聊天消息等用户输入中的中文错别字。
- 校对语音识别或 OCR 结果中的音似、形似错误。
- 在统一测试集上比较不同中文纠错模型的效果。
- 使用业务领域的错误样本微调纠错模型。
快速上手
- 1
从 PyPI 安装软件包
pip install -U pycorrector - 2
在 Python 中运行 kenlm 纠错示例
使用前须知
- 默认的 kenlm 语言模型文件约 2.8G,内存较小的电脑运行可能吃力。
- 基于 Qwen 等大模型的纠错效果更好,但实际使用需要 GPU 才能保证速度。
标签
常见问题
- pycorrector 是什么?
- 面向中文文本纠错的 Python 工具包,集成 KenLM、T5、MacBERT、Qwen 等多种纠错模型,开箱即用。 pycorrector 是一个用于中文文本纠错的 Python 工具包,主要处理音似、形似和语法错误,较新的大模型方案还能纠正多字、少字和词序错误。调用预置纠错器只需几行代码,也可以通过命令行对文件批量纠错。
- pycorrector 可以免费使用吗?用的什么许可证?
- pycorrector 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
- pycorrector 还在维护吗?
- 半年内有更新。pycorrector 最近一次提交是在 2026年7月25日。
- pycorrector 适合用来做什么?
- 清理搜索查询、聊天消息等用户输入中的中文错别字。 校对语音识别或 OCR 结果中的音似、形似错误。 在统一测试集上比较不同中文纠错模型的效果。 使用业务领域的错误样本微调纠错模型。
- pycorrector 怎么安装和运行?
- 从 PyPI 安装软件包: pip install -U pycorrector 在 Python 中运行 kenlm 纠错示例
- 在哪里获取 pycorrector?
- 源代码和安装说明在 GitHub 上:https://github.com/shibing624/pycorrector
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
Python 库,逐层加载大语言模型,让 70B 级模型可在单张 4GB 显卡上推理,无需量化。
面向金融任务的开源大语言模型,涵盖情感分析、股价预测与金融 NLP 基准测试。
OpenAI 模型使用的快速 BPE 分词器,可将文本与 token 互相无损转换。
北京智源推出的检索工具包,提供 BGE 向量模型与重排序模型,并包含微调、评测和教程,用于搜索与 RAG。
微软开源的 Python 库,通过删除提示词中的非关键 token 压缩 LLM 提示和 KV 缓存,最高可压缩 20 倍。