shibing624/pycorrector

これは何？

主な機能

• 01混同セットと組み合わせたKenLMのn-gramモデルによる中国語のスペルミス修正。
• 02MacBERT4CSC、T5、ERNIE-CSC、ChatGLM/Qwenベースのcorrectorを共通インターフェースで利用可能。
• 03誤りの位置を検出し、文字単位または単語単位で出力。
• 04カスタム混同セットと言語モデルを読み込み可能。
• 05コマンドラインからの一括修正と英語スペルチェッカー。

ユースケース

• 検索クエリやチャットメッセージなど、中国語のユーザー入力に含まれる誤字の修正。
• 発音や字形に由来する誤りを含む音声認識・OCRの出力の校正。
• 共通のテストセットを使った中国語修正モデルの比較。
• ドメイン固有の誤りデータセットを使った修正モデルのfine-tuning。

クイックスタート

1. 1

   PyPIからパッケージをインストールする

   pip install -U pycorrector
2. 2

   Pythonでkenlmの訂正例を実行する

使う前に知っておきたいこと

• !kenlmのデフォルトの言語モデルファイルは約2.8 GBあり、メモリの少ないマシンでは負荷になる場合があります。
• !Qwenなど、より高性能なLLMベースのモデルを実用的な速度で動かすにはGPUが必要です。

トピック

よくある質問

pycorrector とは？

KenLMからQwenベースのLLMまで、綴り・発音・字形・文法の誤りを修正する中国語テキスト向けPythonツールキット。 pycorrectorは、中国語テキストの誤りを修正するPythonツールキットです。発音や字形が似た文字の誤り、文法ミスに対応し、新しいLLMベースのモデルでは余分な文字や欠落した文字、語順の誤りも処理できます。数行のコードで既成のcorrectorを呼び出すことも、付属のコマンドラインツールでファイルを一括処理することもできます。

pycorrector は無料で使えますか？ライセンスは？

pycorrector は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

pycorrector は今もメンテナンスされていますか？

半年以内に更新あり。pycorrector の最終コミットは 2026年7月25日 です。

pycorrector は何に使えますか？

検索クエリやチャットメッセージなど、中国語のユーザー入力に含まれる誤字の修正。 発音や字形に由来する誤りを含む音声認識・OCRの出力の校正。 共通のテストセットを使った中国語修正モデルの比較。 ドメイン固有の誤りデータセットを使った修正モデルのfine-tuning。

pycorrector のインストール方法は？

PyPIからパッケージをインストールする: pip install -U pycorrector Pythonでkenlmの訂正例を実行する

pycorrector はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/shibing624/pycorrector