최신 텍스트, 비전, 오디오 및 멀티모달 머신러닝 모델을 정의하고 추론과 학습에 활용하는 프레임워크입니다.
shibing624/pycorrector
KenLM부터 Qwen 기반 LLM까지 다양한 모델을 지원해 중국어 철자, 발음·형태 유사 오류와 문법 오류를 교정하는 Python 툴킷입니다.
- 스타
- 6,534
- 포크
- 1,165
- 열린 이슈
- 25
- 마지막 커밋
- 3개월 전
어떤 프로젝트인가요?
pycorrector는 중국어 텍스트의 오류를 교정하는 Python 툴킷입니다. 발음이나 모양이 비슷한 글자로 인한 오류와 문법 오류를 대상으로 하며, 최신 LLM 기반 모델은 글자의 불필요한 삽입이나 누락, 어순 오류도 처리합니다. 몇 줄의 코드로 사전 구성된 교정기를 사용할 수도 있고, 함께 제공되는 CLI 도구로 파일을 일괄 처리할 수도 있습니다.
이 프로젝트는 여러 방식을 공통 인터페이스로 제공합니다. 여기에는 혼동 집합을 결합한 KenLM n-gram 언어 모델, MacBERT 및 T5 기반 seq2seq 교정기, PaddlePaddle 기반 ERNIE-CSC 모델, ChatGLM3, Qwen2.5, Qwen3를 사용하는 GPT 스타일 교정기가 포함됩니다. 각 방식에는 학습 및 예측 스크립트가 담긴 예제 디렉터리가 있으며, SIGHAN-2015, EC-LAW, MCSC에서 문장 단위 F1 점수를 보고해 성능을 비교합니다.
이 툴킷에는 영어 철자 교정기, 중국어 번체에서 간체로의 변환 기능, 특정 용어를 허용 목록에 추가하거나 등록하기 위한 사용자 지정 혼동 집합, Gradio 데모도 포함됩니다. 모델은 처음 사용할 때 Hugging Face에서 다운로드합니다.
핵심 기능
- 01혼동 집합을 사용하는 KenLM n-gram 모델로 중국어 철자를 교정합니다.
- 02MacBERT4CSC, T5, ERNIE-CSC 및 ChatGLM/Qwen 기반 교정기를 하나의 인터페이스로 제공합니다.
- 03오류 위치를 감지하고 문자 또는 단어 단위로 결과를 출력합니다.
- 04사용자 지정 혼동 집합과 언어 모델을 불러올 수 있습니다.
- 05CLI에서 일괄 교정을 수행하고 영어 철자 교정기도 사용할 수 있습니다.
활용 사례
- 검색어 또는 채팅 메시지 같은 중국어 사용자 입력의 오타를 정리합니다.
- 발음이나 모양이 비슷해 생긴 오류가 포함된 음성 인식 또는 OCR 결과를 교정합니다.
- 공통 테스트 세트에서 여러 중국어 교정 모델을 비교합니다.
- 특정 도메인의 오류 데이터셋으로 교정 모델을 파인튜닝합니다.
빠른 시작
- 1
PyPI에서 패키지를 설치합니다
pip install -U pycorrector - 2
Python에서 kenlm 교정 예제를 실행합니다
사용 전 알아둘 점
- kenlm의 기본 언어 모델 파일은 약 2.8GB로, 메모리가 적은 머신에서는 부담이 될 수 있습니다.
- Qwen과 같은 더 강력한 LLM 기반 모델을 실용적인 속도로 사용하려면 GPU가 필요합니다.
토픽
자주 묻는 질문
- pycorrector은(는) 무엇인가요?
- KenLM부터 Qwen 기반 LLM까지 다양한 모델을 지원해 중국어 철자, 발음·형태 유사 오류와 문법 오류를 교정하는 Python 툴킷입니다. pycorrector는 중국어 텍스트의 오류를 교정하는 Python 툴킷입니다. 발음이나 모양이 비슷한 글자로 인한 오류와 문법 오류를 대상으로 하며, 최신 LLM 기반 모델은 글자의 불필요한 삽입이나 누락, 어순 오류도 처리합니다. 몇 줄의 코드로 사전 구성된 교정기를 사용할 수도 있고, 함께 제공되는 CLI 도구로 파일을 일괄 처리할 수도 있습니다.
- pycorrector은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- pycorrector은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- pycorrector은(는) 아직 유지보수되고 있나요?
- 6개월 이내 업데이트. pycorrector의 마지막 커밋은 2026년 7월 25일입니다.
- pycorrector은(는) 어디에 사용할 수 있나요?
- 검색어 또는 채팅 메시지 같은 중국어 사용자 입력의 오타를 정리합니다. 발음이나 모양이 비슷해 생긴 오류가 포함된 음성 인식 또는 OCR 결과를 교정합니다. 공통 테스트 세트에서 여러 중국어 교정 모델을 비교합니다. 특정 도메인의 오류 데이터셋으로 교정 모델을 파인튜닝합니다.
- pycorrector는 어떻게 설치하나요?
- PyPI에서 패키지를 설치합니다: pip install -U pycorrector Python에서 kenlm 교정 예제를 실행합니다
- pycorrector은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/shibing624/pycorrector
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
대형 언어 모델을 레이어별로 실행해 양자화 없이도 70B급 모델을 단일 4GB GPU에서 추론할 수 있는 Python 라이브러리입니다.
감성 분석, 예측, 금융 NLP 벤치마크 등 금융 작업에 맞게 파인튜닝한 오픈소스 대규모 언어 모델입니다.
OpenAI 모델용 고속 BPE 토크나이저로, 텍스트를 토큰으로 변환하고 손실 없이 다시 복원합니다.
BAAI의 검색 툴킷으로, BGE 임베딩 및 리랭커 모델과 검색·RAG를 위한 학습, 평가, 튜토리얼을 제공합니다.
Microsoft가 만든 Python 라이브러리로, 중요하지 않은 토큰을 제거해 성능 저하를 최소화하면서 LLM 프롬프트와 KV cache를 최대 20배 압축합니다.