Azure-Samples/ai-rag-chat-evaluator

¿Qué es?

Funciones clave

• 01Puntúa respuestas RAG con métricas basadas en GPT, como fundamentación en las fuentes, relevancia y coherencia.
• 02Calcula métricas basadas en código, como latencia, longitud de la respuesta y comprobaciones de citas.
• 03Genera conjuntos de preguntas de referencia, incluidas preguntas que los documentos no pueden responder.
• 04Compara respuestas entre ejecuciones en una vista de diferencias en la terminal, con filtros por métricas modificadas.
• 05Admite Azure OpenAI con autenticación sin clave o cuentas de openai.com.

Casos de uso

• Comprobar si un cambio en el prompt o la configuración de búsqueda mejora la calidad de las respuestas antes de implementar.
• Medir con qué frecuencia una aplicación de chat RAG reconoce que no sabe la respuesta cuando las fuentes no la contienen.
• Ejecutar evaluaciones rápidas de un subconjunto durante el desarrollo con un número limitado de preguntas.
• Comparar dos ejecuciones de experimentos pregunta por pregunta para detectar regresiones.

Inicio rápido

1. 1

   Instala Python 3.10 o una versión posterior

2. 2

   Crea y activa un entorno virtual de Python

3. 3

   Instala el proyecto en el entorno virtual

   python -m pip install -e .
4. 4

   Ejecuta una evaluación con la configuración de ejemplo

   python -m evaltools evaluate --config=example_config.json

Antes de usarlo

• !La evaluación requiere un modelo de la categoría GPT-4, por lo que necesitas una instancia de Azure OpenAI o de openai.com.
• !Ejecutar evaluadores basados en GPT genera costos de tokens por cada pregunta y cada evaluador utilizado.
• !Las métricas integradas usan prompts en inglés y solo son adecuadas para respuestas en inglés.

En colecciones

Temas

Preguntas frecuentes

¿Qué es ai-rag-chat-evaluator?

Scripts y herramientas para evaluar aplicaciones de chat RAG con Azure AI Evaluate SDK y evaluadores basados en OpenAI. Este proyecto ofrece un conjunto de herramientas de línea de comandos para medir la calidad de las respuestas de aplicaciones de chat basadas en generación aumentada por recuperación (RAG). Parámetros como el prompt del sistema, la configuración de búsqueda y las opciones del modelo GPT cambian las respuestas, así que cada cambio se puede evaluar con un conjunto de pares de preguntas y respuestas de referencia.

¿ai-rag-chat-evaluator es gratuito? ¿Qué licencia tiene?

ai-rag-chat-evaluator es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.

¿ai-rag-chat-evaluator sigue mantenido?

Mantenimiento activo. El último commit de ai-rag-chat-evaluator fue el 3 nov 2026.

¿Para qué puedo usar ai-rag-chat-evaluator?

Comprobar si un cambio en el prompt o la configuración de búsqueda mejora la calidad de las respuestas antes de implementar. Medir con qué frecuencia una aplicación de chat RAG reconoce que no sabe la respuesta cuando las fuentes no la contienen. Ejecutar evaluaciones rápidas de un subconjunto durante el desarrollo con un número limitado de preguntas. Comparar dos ejecuciones de experimentos pregunta por pregunta para detectar regresiones.

¿Cómo se instala ai-rag-chat-evaluator?

Instala Python 3.10 o una versión posterior Crea y activa un entorno virtual de Python Instala el proyecto en el entorno virtual: python -m pip install -e . Ejecuta una evaluación con la configuración de ejemplo: python -m evaltools evaluate --config=example_config.json

¿Dónde consigo ai-rag-chat-evaluator?

El código fuente y las instrucciones de instalación están en GitHub: https://github.com/Azure-Samples/ai-rag-chat-evaluator