Repolode
Enviar
confident-ai

confident-ai/deepeval

Framework Python open source para testes unitários de apps com LLM, com métricas para RAG, agentes, chatbots, agentes de voz e mais, na linha do Pytest.

Ver no GitHubSite
Estrelas
18,982
Forks
2,102
Issues abertas
751
Último commit
ontem

O que é?

DeepEval é um framework open source de avaliação de LLM para testar aplicações com LLM. Ele funciona como o Pytest, mas foi desenvolvido para saídas de LLM: você escreve casos de teste com uma entrada, a saída real da aplicação e, opcionalmente, uma saída esperada ou um contexto de recuperação; depois, avalia os resultados com métricas. Muitas métricas, como G-Eval, usam um LLM como juiz, e o framework funciona com o LLM que você preferir.

A biblioteca cobre a avaliação ponta a ponta de um app tratado como caixa-preta, além da avaliação no nível de componentes e baseada em trajetórias de agentes de IA, chamadas de ferramentas, etapas de recuperação e transferências para subagentes. As métricas prontas incluem relevância da resposta, fidelidade, precisão e recall contextual para RAG; conclusão de tarefas e correção no uso de ferramentas para agentes; retenção de conhecimento para chatbots com múltiplos turnos; e verificações de alucinação, viés e toxicidade. Também é possível criar métricas personalizadas e integrá-las ao mesmo fluxo de trabalho.

Os testes são executados pela linha de comando com `deepeval test run` e se integram a pipelines de CI/CD. As integrações de tracing incluem OpenAI, Anthropic, LangChain, LangGraph, LlamaIndex, CrewAI, Pydantic AI e outras. Opcionalmente, os resultados podem ser sincronizados com a plataforma Confident AI para gerar relatórios compartilháveis.

Recursos principais

  • 01Testes unitários no estilo do Pytest para saídas de LLM, executados com `deepeval test run`.
  • 02Métricas integradas para RAG, agentes de IA, chatbots com múltiplos turnos, agentes de voz, MCP e saídas multimodais.
  • 03Métricas G-Eval e DAG que usam um LLM como juiz com critérios personalizados.
  • 04Avaliação ponta a ponta, no nível de componentes e baseada em trajetórias, com tracing.
  • 05Integrações com OpenAI, Anthropic, LangChain, LlamaIndex, CrewAI e outros frameworks.
  • 06Geração de datasets sintéticos e otimização de prompts com base nos resultados das avaliações.

Casos de uso

  • Adicionar testes de regressão para um pipeline de RAG a um fluxo de trabalho de CI/CD.
  • Verificar se um agente de IA conclui as tarefas e chama as ferramentas certas.
  • Avaliar se um chatbot de suporte ao cliente com múltiplos turnos segue seu papel e retém conhecimento.
  • Comparar modelos ou prompts antes de trocar de provedor de LLM.

Início rápido

  1. 1

    Abra o guia de início rápido do README no Google Colab (não é necessário instalar nada localmente).

Antes de usar

  • As métricas de LLM-as-a-judge dependem de um LLM à sua escolha, que pode exigir uma chave de API e gerar custos de uso.

Tópicos

#llm-evaluation#testing#rag#ai-agents#python#pytest#llm-as-a-judge#evaluation-framework#evaluation-metrics#llm-evaluation-framework

Perguntas frequentes

O que é deepeval?
Framework Python open source para testes unitários de apps com LLM, com métricas para RAG, agentes, chatbots, agentes de voz e mais, na linha do Pytest. DeepEval é um framework open source de avaliação de LLM para testar aplicações com LLM. Ele funciona como o Pytest, mas foi desenvolvido para saídas de LLM: você escreve casos de teste com uma entrada, a saída real da aplicação e, opcionalmente, uma saída esperada ou um contexto de recuperação; depois, avalia os resultados com métricas. Muitas métricas, como G-Eval, usam um LLM como juiz, e o framework funciona com o LLM que você preferir.
deepeval é gratuito? Qual é a licença?
deepeval é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
deepeval ainda é mantido?
Manutenção ativa. O último commit de deepeval foi em 19 de out. de 2026.
Para que posso usar deepeval?
Adicionar testes de regressão para um pipeline de RAG a um fluxo de trabalho de CI/CD. Verificar se um agente de IA conclui as tarefas e chama as ferramentas certas. Avaliar se um chatbot de suporte ao cliente com múltiplos turnos segue seu papel e retém conhecimento. Comparar modelos ou prompts antes de trocar de provedor de LLM.
Como instalar deepeval?
Abra o guia de início rápido do README no Google Colab (não é necessário instalar nada localmente).
Onde consigo deepeval?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/confident-ai/deepeval

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados