Repolode
Enviar
braintrustdata

braintrustdata/autoevals

Biblioteca para Python y TypeScript que puntúa resultados de modelos de IA con evaluadores basados en LLM como juez, heurísticos y estadísticos.

Ver en GitHub
Estrellas
1,073
Forks
100
Issues abiertos
59
Último commit
hace 7 días

¿Qué es?

Autoevals es una biblioteca para evaluar automáticamente los resultados de modelos de IA. Ofrece una interfaz uniforme: se le pasan una entrada, un resultado y un valor esperado, y devuelve una puntuación entre 0 y 1 calculada por uno de los muchos evaluadores integrados.

La biblioteca reúne tres familias de métodos: evaluación calificada por modelos, en la que un LLM actúa como juez (para tareas como verificación factual, seguridad, resumen, SQL y traducción); comprobaciones heurísticas, como la distancia de Levenshtein, la coincidencia exacta y la comparación de diferencias en JSON; y métricas estadísticas, como BLEU. También incluye evaluadores específicos para RAG que miden la fidelidad, la recuperación del contexto y la relevancia de las respuestas, además de la similitud entre embeddings.

Se pueden crear evaluaciones personalizadas mediante plantillas de prompts con puntuaciones configurables para cada opción, o mediante funciones simples que devuelven un objeto Score. De forma predeterminada, se autentica con OPENAI_API_KEY y se puede configurar para usar cualquier endpoint compatible con OpenAI, incluido Braintrust AI Gateway. Los resultados también se pueden registrar en Braintrust.

Funciones clave

  • 01Evaluadores calificados por modelos, como Factuality, Closed QA, Moderation y SQL
  • 02Evaluadores heurísticos, como la distancia de Levenshtein, la coincidencia exacta y la comparación de diferencias en JSON
  • 03Evaluadores para RAG que miden la fidelidad, la recuperación del contexto y la relevancia de las respuestas
  • 04Plantillas de prompts y funciones de puntuación personalizadas en Python o TypeScript
  • 05Compatible con cualquier API compatible con OpenAI y admite llamadas síncronas y asíncronas

Casos de uso

  • Comprobar si la respuesta de un LLM es coherente con una respuesta de referencia desde el punto de vista factual
  • Evaluar la recuperación y la calidad de las respuestas de un pipeline RAG durante el desarrollo
  • Comparar versiones de prompts o modelos con métricas uniformes en una suite de pruebas
  • Añadir comprobaciones personalizadas basadas en el criterio de un LLM o en reglas a un flujo de evaluación existente

Inicio rápido

  1. 1

    Instala el paquete de Python con pip

    pip install autoevals
  2. 2

    Configura la variable de entorno OPENAI_API_KEY (autenticación predeterminada)

  3. 3

    Ejecuta una evaluación de factualidad desde Python

Antes de usarlo

  • Los evaluadores basados en LLM necesitan una clave de API y, de forma predeterminada, realizan llamadas a modelos de pago, aunque Braintrust Gateway es gratis durante la beta.

En colecciones

Frameworks de pruebas y herramientas de automatización

Temas

#llm-evaluation#evals#llm-as-a-judge#rag#testing#openai#python#typescript

Preguntas frecuentes

¿Qué es autoevals?
Biblioteca para Python y TypeScript que puntúa resultados de modelos de IA con evaluadores basados en LLM como juez, heurísticos y estadísticos. Autoevals es una biblioteca para evaluar automáticamente los resultados de modelos de IA. Ofrece una interfaz uniforme: se le pasan una entrada, un resultado y un valor esperado, y devuelve una puntuación entre 0 y 1 calculada por uno de los muchos evaluadores integrados.
¿autoevals es gratuito? ¿Qué licencia tiene?
autoevals es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿autoevals sigue mantenido?
Mantenimiento activo. El último commit de autoevals fue el 30 oct 2026.
¿Para qué puedo usar autoevals?
Comprobar si la respuesta de un LLM es coherente con una respuesta de referencia desde el punto de vista factual Evaluar la recuperación y la calidad de las respuestas de un pipeline RAG durante el desarrollo Comparar versiones de prompts o modelos con métricas uniformes en una suite de pruebas Añadir comprobaciones personalizadas basadas en el criterio de un LLM o en reglas a un flujo de evaluación existente
¿Cómo se instala autoevals?
Instala el paquete de Python con pip: pip install autoevals Configura la variable de entorno OPENAI_API_KEY (autenticación predeterminada) Ejecuta una evaluación de factualidad desde Python
¿Dónde consigo autoevals?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/braintrustdata/autoevals

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados