Framework para definir modelos de aprendizaje automático de última generación de texto, visión, audio y modalidades múltiples, para inferencia y entrenamiento.
167,9 mil34,9 milPythonApache-2.0Actualizado ayer
shibing624/pycorrector
Kit de herramientas de Python para corregir errores en textos en chino: ortográficos, fonéticos, de similitud visual y gramaticales, con modelos desde KenLM hasta LLM basados en Qwen.
- Estrellas
- 6,534
- Forks
- 1,165
- Issues abiertos
- 25
- Último commit
- hace 3 meses
¿Qué es?
pycorrector es un kit de herramientas de Python para corregir errores en textos en chino. Está diseñado para detectar errores fonéticos, visuales y gramaticales, y sus modelos más recientes basados en LLM también corrigen caracteres de más o que faltan y errores de orden de palabras. Puedes usar un corrector listo para usar con unas pocas líneas de código o ejecutar la herramienta de línea de comandos incluida para procesar archivos por lotes.
El proyecto ofrece varios enfoques mediante una interfaz común: un modelo de lenguaje de n-gramas KenLM combinado con conjuntos de confusión; correctores seq2seq basados en MacBERT y T5; un modelo ERNIE-CSC sobre PaddlePaddle; y correctores de estilo GPT basados en ChatGLM3, Qwen2.5 y Qwen3. Cada método cuenta con su propio directorio de ejemplos, con scripts de entrenamiento y predicción, y el proyecto compara los resultados de F1 a nivel de oración en SIGHAN-2015, EC-LAW y MCSC.
El kit también incluye un corrector ortográfico para inglés, conversión de chino tradicional a simplificado, conjuntos de confusión personalizados para permitir términos o añadir términos conocidos, y una demo de Gradio. Los modelos se descargan de Hugging Face la primera vez que se usan.
Funciones clave
- 01Modelo de n-gramas KenLM con conjuntos de confusión para corregir errores ortográficos en chino.
- 02Correctores basados en MacBERT4CSC, T5, ERNIE-CSC y ChatGLM/Qwen, disponibles mediante una sola interfaz.
- 03Detección de las posiciones con errores, con resultados a nivel de carácter o de palabra.
- 04Carga de conjuntos de confusión y modelos de lenguaje personalizados.
- 05Corrección por lotes desde la línea de comandos y corrector ortográfico para inglés.
Casos de uso
- Corregir errores tipográficos en entradas de usuario en chino, como consultas de búsqueda o mensajes de chat.
- Revisar resultados de reconocimiento de voz u OCR que contengan errores fonéticos o de similitud visual.
- Comparar distintos modelos de corrección de chino con un conjunto de pruebas común.
- Ajustar un modelo de corrección con un conjunto de datos de errores específico de un dominio.
Inicio rápido
- 1
Instala el paquete desde PyPI
pip install -U pycorrector - 2
Ejecuta el ejemplo de corrección de kenlm en Python
Antes de usarlo
- El archivo del modelo de lenguaje predeterminado de kenlm ocupa unos 2,8 GB, lo que puede ser demasiado para equipos con poca memoria.
- Los modelos basados en LLM más potentes, como Qwen, requieren una GPU para funcionar a una velocidad práctica.
Temas
Preguntas frecuentes
- ¿Qué es pycorrector?
- Kit de herramientas de Python para corregir errores en textos en chino: ortográficos, fonéticos, de similitud visual y gramaticales, con modelos desde KenLM hasta LLM basados en Qwen. pycorrector es un kit de herramientas de Python para corregir errores en textos en chino. Está diseñado para detectar errores fonéticos, visuales y gramaticales, y sus modelos más recientes basados en LLM también corrigen caracteres de más o que faltan y errores de orden de palabras. Puedes usar un corrector listo para usar con unas pocas líneas de código o ejecutar la herramienta de línea de comandos incluida para procesar archivos por lotes.
- ¿pycorrector es gratuito? ¿Qué licencia tiene?
- pycorrector es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿pycorrector sigue mantenido?
- Actualizado en los últimos 6 meses. El último commit de pycorrector fue el 25 jul 2026.
- ¿Para qué puedo usar pycorrector?
- Corregir errores tipográficos en entradas de usuario en chino, como consultas de búsqueda o mensajes de chat. Revisar resultados de reconocimiento de voz u OCR que contengan errores fonéticos o de similitud visual. Comparar distintos modelos de corrección de chino con un conjunto de pruebas común. Ajustar un modelo de corrección con un conjunto de datos de errores específico de un dominio.
- ¿Cómo se instala pycorrector?
- Instala el paquete desde PyPI: pip install -U pycorrector Ejecuta el ejemplo de corrección de kenlm en Python
- ¿Dónde consigo pycorrector?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/shibing624/pycorrector
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Biblioteca de Python que ejecuta modelos de lenguaje grandes capa por capa para que los modelos de 70B puedan inferir en una sola GPU de 4 GB, sin cuantización.
39,5 mil4 milJupyter NotebookApache-2.0Actualizado anteayer
Modelos de lenguaje grandes de código abierto ajustados para tareas financieras, como análisis de sentimiento, pronósticos y benchmarks de NLP financiero.
21,4 mil3 milJupyter NotebookMITActualizado hace 28 días
Un tokenizador BPE rápido para los modelos de OpenAI, que convierte texto en tokens y lo reconstruye sin pérdida.
19,5 mil1,7 milPythonMITActualizado hace 2 meses
Toolkit de recuperación de BAAI con modelos de embeddings y reranking BGE, además de herramientas de entrenamiento, evaluación y tutoriales para búsqueda y RAG.
12,3 mil1,1 milPythonMITActualizado hace 2 meses
Biblioteca de Python de Microsoft que comprime prompts de LLM y la KV cache hasta 20 veces al eliminar tokens no esenciales, con una pérdida mínima de rendimiento.
6,8 mil444PythonMITActualizado el mes pasado