PacificAI/langtest

¿Qué es?

Funciones clave

• 01Genera y ejecuta más de 60 tipos de pruebas con una sola línea de código.
• 02Abarca robustez, sesgo, representación, equidad y precisión.
• 03Admite pipelines de NER, traducción y clasificación de texto en Spark NLP, Hugging Face y Transformers.
• 04Prueba LLM alojados de OpenAI, Cohere, AI21, Hugging Face y Azure OpenAI.
• 05Incluye conjuntos de datos de referencia para tareas de respuesta a preguntas, resumen y otras.

Casos de uso

• Comprobar la robustez de un modelo de NER frente a errores tipográficos y cambios en el uso de mayúsculas antes de implementarlo.
• Auditar un chatbot o LLM para detectar sesgo, toxicidad o complacencia.
• Evaluar la precisión de resultados de LLM médicos o legales en dominios específicos.
• Comparar varios modelos con los mismos conjuntos de datos de referencia.

Inicio rápido

1. 1

   Instala langtest con compatibilidad con transformers

   pip install langtest[transformers]
2. 2

   Crea un Harness y genera, ejecuta y reporta pruebas en un modelo

Antes de usarlo

• !Algunos tipos de pruebas requieren claves API de pago para proveedores de LLM como OpenAI, Cohere o AI21.

En colecciones

Temas

Preguntas frecuentes

¿Qué es langtest?

Biblioteca de Python que genera y ejecuta pruebas de robustez, sesgo, equidad y precisión para modelos de NLP y LLM con una sola línea de código. LangTest es una biblioteca de Python para evaluar modelos de lenguaje antes de que lleguen a producción. El usuario crea un objeto Harness para una tarea, como el reconocimiento de entidades nombradas, lo conecta a un modelo y luego genera casos de prueba, los ejecuta y obtiene un informe. La biblioteca ofrece más de 60 tipos de pruebas que abarcan robustez, sesgo, representación, equidad y precisión.

¿langtest es gratuito? ¿Qué licencia tiene?

langtest es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.

¿langtest sigue mantenido?

Actualizado en los últimos 6 meses. El último commit de langtest fue el 28 ago 2026.

¿Para qué puedo usar langtest?

Comprobar la robustez de un modelo de NER frente a errores tipográficos y cambios en el uso de mayúsculas antes de implementarlo. Auditar un chatbot o LLM para detectar sesgo, toxicidad o complacencia. Evaluar la precisión de resultados de LLM médicos o legales en dominios específicos. Comparar varios modelos con los mismos conjuntos de datos de referencia.

¿Cómo se instala langtest?

Instala langtest con compatibilidad con transformers: pip install langtest[transformers] Crea un Harness y genera, ejecuta y reporta pruebas en un modelo

¿Dónde consigo langtest?

El código fuente y las instrucciones de instalación están en GitHub: https://github.com/PacificAI/langtest