Repolode
Enviar
confident-ai

confident-ai/deepeval

Framework open source de Python para probar aplicaciones con LLM, con métricas para RAG, agentes, chatbots, agentes de voz y más, inspirado en Pytest.

Ver en GitHubSitio web
Estrellas
18,982
Forks
2,102
Issues abiertos
751
Último commit
anteayer

¿Qué es?

DeepEval es un framework open source de evaluación de LLM para probar aplicaciones con LLM. Funciona como Pytest, pero está diseñado para las salidas de los LLM: se crean casos de prueba con una entrada, la salida real de la aplicación y, de forma opcional, una salida esperada o el contexto de recuperación; luego se evalúan con distintas métricas. Muchas métricas, como G-Eval, usan un LLM como juez, y el framework funciona con el LLM que elijas.

La biblioteca permite evaluar una aplicación de extremo a extremo tratándola como una caja negra, así como evaluar componentes y trayectorias de agentes de IA, llamadas a herramientas, pasos de recuperación y transferencias entre subagentes. Entre las métricas listas para usar se incluyen relevancia de las respuestas, fidelidad, precisión y exhaustividad contextual para RAG; finalización de tareas y corrección del uso de herramientas para agentes; retención de conocimientos en chatbots con varios turnos; y detección de alucinaciones, sesgos y toxicidad. También se pueden crear métricas personalizadas e incorporarlas al mismo flujo de trabajo.

Las pruebas se ejecutan desde la línea de comandos con `deepeval test run` y se integran en pipelines de CI/CD. Las integraciones de trazabilidad incluyen OpenAI, Anthropic, LangChain, LangGraph, LlamaIndex, CrewAI, Pydantic AI y otros. Los resultados se pueden sincronizar de forma opcional con la plataforma Confident AI para generar informes que se pueden compartir.

Funciones clave

  • 01Pruebas unitarias al estilo de Pytest para las salidas de LLM, ejecutadas con `deepeval test run`.
  • 02Métricas integradas para RAG, agentes de IA, chatbots con varios turnos, agentes de voz, MCP y salidas multimodales.
  • 03Métricas G-Eval y DAG que usan un LLM como juez con criterios personalizados.
  • 04Evaluación de extremo a extremo, por componentes y basada en trayectorias, con trazabilidad.
  • 05Integraciones con OpenAI, Anthropic, LangChain, LlamaIndex, CrewAI y otros frameworks.
  • 06Generación de conjuntos de datos sintéticos y optimización de prompts a partir de los resultados de evaluación.

Casos de uso

  • Añadir pruebas de regresión para un pipeline de RAG a un flujo de trabajo de CI/CD.
  • Comprobar si un agente de IA completa sus tareas y llama a las herramientas adecuadas.
  • Evaluar si un chatbot de atención al cliente con varios turnos respeta su rol y retiene conocimientos.
  • Comparar modelos o prompts antes de cambiar de proveedor de LLM.

Inicio rápido

  1. 1

    Abre la guía de inicio rápido del README en Google Colab (no hace falta instalar nada localmente).

Antes de usarlo

  • Sus métricas de LLM-as-a-judge dependen de un LLM de tu elección, que puede requerir una clave de API y generar costes de uso.

Temas

#llm-evaluation#testing#rag#ai-agents#python#pytest#llm-as-a-judge#evaluation-framework#evaluation-metrics#llm-evaluation-framework

Preguntas frecuentes

¿Qué es deepeval?
Framework open source de Python para probar aplicaciones con LLM, con métricas para RAG, agentes, chatbots, agentes de voz y más, inspirado en Pytest. DeepEval es un framework open source de evaluación de LLM para probar aplicaciones con LLM. Funciona como Pytest, pero está diseñado para las salidas de los LLM: se crean casos de prueba con una entrada, la salida real de la aplicación y, de forma opcional, una salida esperada o el contexto de recuperación; luego se evalúan con distintas métricas. Muchas métricas, como G-Eval, usan un LLM como juez, y el framework funciona con el LLM que elijas.
¿deepeval es gratuito? ¿Qué licencia tiene?
deepeval es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿deepeval sigue mantenido?
Mantenimiento activo. El último commit de deepeval fue el 19 oct 2026.
¿Para qué puedo usar deepeval?
Añadir pruebas de regresión para un pipeline de RAG a un flujo de trabajo de CI/CD. Comprobar si un agente de IA completa sus tareas y llama a las herramientas adecuadas. Evaluar si un chatbot de atención al cliente con varios turnos respeta su rol y retiene conocimientos. Comparar modelos o prompts antes de cambiar de proveedor de LLM.
¿Cómo se instala deepeval?
Abre la guía de inicio rápido del README en Google Colab (no hace falta instalar nada localmente).
¿Dónde consigo deepeval?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/confident-ai/deepeval

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados