Repolode
Enviar
langchain-ai

langchain-ai/openevals

Biblioteca de Python y TypeScript con evaluadores predefinidos y personalizables para probar resultados de aplicaciones con LLM, incluida la evaluación con un LLM como juez.

Ver en GitHub
Estrellas
1,227
Forks
133
Issues abiertos
25
Último commit
hace 4 horas

¿Qué es?

OpenEvals es una biblioteca de evaluadores listos para usar en aplicaciones con LLM, similar en concepto a las pruebas unitarias del software tradicional. Está pensada como punto de partida: los equipos pueden usar directamente los evaluadores incluidos y luego crear otros más específicos para su propia aplicación.

El núcleo es la función create_llm_as_judge, que recibe un prompt y un modelo juez, y devuelve un evaluador que da formato a las entradas y salidas para incluirlas en el prompt y analiza la puntuación del juez. El paquete incluye prompts predefinidos para evaluar calidad, seguridad, protección, RAG, código, extracción estructurada, trayectorias de agentes y contenido de voz o imágenes. Los modelos juez se pueden especificar como cadenas provider:model mediante LangChain, o bien pasar como modelo de chat o instancia del cliente de OpenAI.

OpenEvals también incluye evaluadores que no usan LLM, como coincidencia exacta, distancia de Levenshtein y similitud de embeddings, y se integra con los runners pytest y Vitest/Jest de LangSmith. Es compatible con Python y TypeScript. Los evaluadores específicos para agentes se encuentran en un proyecto aparte, agentevals.

Funciones clave

  • 01Crea evaluadores con un LLM como juez a partir de un prompt y un modelo juez.
  • 02Incluye prompts predefinidos para comprobar calidad, seguridad, protección, RAG y código.
  • 03Admite valores de puntuación personalizados, esquemas de salida y adjuntos multimodales.
  • 04Ofrece evaluadores que no usan LLM, como coincidencia exacta, distancia de Levenshtein y similitud de embeddings.
  • 05Funciona con los runners pytest y Vitest/Jest de LangSmith en Python y TypeScript.

Casos de uso

  • Comprobar antes del lanzamiento si las respuestas de un chatbot con LLM son concisas, correctas o están libres de alucinaciones.
  • Evaluar pipelines de RAG según su fundamentación y la relevancia de la recuperación.
  • Filtrar resultados de modelos para detectar toxicidad, filtraciones de PII o inyección de prompts.
  • Añadir comprobaciones de resultados de LLM a una suite de pruebas de CI.

Inicio rápido

  1. 1

    Instala openevals con pip

    pip install openevals
  2. 2

    Configura tu clave de API de OpenAI como variable de entorno

    export OPENAI_API_KEY="your_openai_api_key"
  3. 3

    Ejecuta el ejemplo del evaluador de concisión del README

Antes de usarlo

  • La guía de inicio rápido y los evaluadores LLM-as-judge predeterminados requieren una clave de API de OpenAI, que es un servicio de pago.

Temas

#llm-evaluation#evals#llm#testing#llm-as-judge#rag#langchain

Preguntas frecuentes

¿Qué es openevals?
Biblioteca de Python y TypeScript con evaluadores predefinidos y personalizables para probar resultados de aplicaciones con LLM, incluida la evaluación con un LLM como juez. OpenEvals es una biblioteca de evaluadores listos para usar en aplicaciones con LLM, similar en concepto a las pruebas unitarias del software tradicional. Está pensada como punto de partida: los equipos pueden usar directamente los evaluadores incluidos y luego crear otros más específicos para su propia aplicación.
¿openevals es gratuito? ¿Qué licencia tiene?
openevals es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿openevals sigue mantenido?
Mantenimiento activo. El último commit de openevals fue el 21 oct 2026.
¿Para qué puedo usar openevals?
Comprobar antes del lanzamiento si las respuestas de un chatbot con LLM son concisas, correctas o están libres de alucinaciones. Evaluar pipelines de RAG según su fundamentación y la relevancia de la recuperación. Filtrar resultados de modelos para detectar toxicidad, filtraciones de PII o inyección de prompts. Añadir comprobaciones de resultados de LLM a una suite de pruebas de CI.
¿Cómo se instala openevals?
Instala openevals con pip: pip install openevals Configura tu clave de API de OpenAI como variable de entorno: export OPENAI_API_KEY="your_openai_api_key" Ejecuta el ejemplo del evaluador de concisión del README
¿Dónde consigo openevals?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/langchain-ai/openevals

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados