Repolode
Enviar
Azure-Samples

Azure-Samples/ai-rag-chat-evaluator

Scripts e ferramentas para avaliar apps de chat com RAG usando o Azure AI Evaluate SDK e avaliadores baseados em OpenAI.

Ver no GitHub
Estrelas
336
Forks
116
Issues abertas
25
Último commit
há 3 dias

O que é?

Este projeto oferece um kit de ferramentas de linha de comando para medir a qualidade das respostas de aplicativos de chat criados com geração aumentada por recuperação (RAG). Parâmetros como o prompt do sistema, as configurações de busca e as opções do modelo GPT alteram as respostas, então cada mudança pode ser avaliada com um conjunto de pares de perguntas e respostas de referência.

O avaliador envia perguntas para um endpoint de chat em execução e atribui notas às respostas usando métricas baseadas em GPT, como fundamentação, relevância, coerência e similaridade, além de métricas baseadas em código, como latência, tamanho da resposta e presença de citações. Também inclui geradores que criam conjuntos de perguntas de referência, inclusive perguntas que os documentos de origem não conseguem responder, para testar se o app sabe dizer "Não sei".

Os resultados são salvos por execução, com detalhes por pergunta e estatísticas resumidas. Comandos de revisão integrados comparam execuções no terminal e exibem os parâmetros usados em cada uma. A ferramenta funciona com implantações do Azure OpenAI (com acesso sem chave por padrão) ou contas do openai.com, e é configurada por meio da CLI azd.

Recursos principais

  • 01Avalia respostas com RAG usando métricas baseadas em GPT, como fundamentação, relevância e coerência.
  • 02Calcula métricas baseadas em código, incluindo latência, tamanho da resposta e verificações de citações.
  • 03Gera conjuntos de perguntas de referência, incluindo perguntas que os documentos não conseguem responder.
  • 04Compara respostas entre execuções em uma visualização de diff no terminal, com filtros por métricas alteradas.
  • 05Oferece suporte ao Azure OpenAI com autenticação sem chave ou a contas do openai.com.

Casos de uso

  • Verificar se uma mudança no prompt ou nas configurações de busca melhora a qualidade das respostas antes da implantação.
  • Medir com que frequência um app de chat com RAG admite que não sabe a resposta quando as fontes não a contêm.
  • Executar avaliações rápidas de um subconjunto durante o desenvolvimento, com um número limitado de perguntas.
  • Comparar duas execuções de experimentos, pergunta por pergunta, para encontrar regressões.

Início rápido

  1. 1

    Instale o Python 3.10 ou superior

  2. 2

    Crie e ative um ambiente virtual do Python

  3. 3

    Instale o projeto no ambiente virtual

    python -m pip install -e .
  4. 4

    Execute uma avaliação com a configuração de exemplo

    python -m evaltools evaluate --config=example_config.json

Antes de usar

  • A avaliação depende de um modelo da categoria GPT-4, então você precisa de uma instância do Azure OpenAI ou do openai.com.
  • A execução de avaliadores baseados em GPT gera custos de tokens para cada pergunta e avaliador utilizado.
  • As métricas integradas usam prompts em inglês e são adequadas apenas para respostas em inglês.

Em coleções

Chatbots de IA e clientes de chatFrameworks de teste e ferramentas de automação de testes

Tópicos

#rag#llm-evaluation#azure-openai#testing#python#chatbot

Perguntas frequentes

O que é ai-rag-chat-evaluator?
Scripts e ferramentas para avaliar apps de chat com RAG usando o Azure AI Evaluate SDK e avaliadores baseados em OpenAI. Este projeto oferece um kit de ferramentas de linha de comando para medir a qualidade das respostas de aplicativos de chat criados com geração aumentada por recuperação (RAG). Parâmetros como o prompt do sistema, as configurações de busca e as opções do modelo GPT alteram as respostas, então cada mudança pode ser avaliada com um conjunto de pares de perguntas e respostas de referência.
ai-rag-chat-evaluator é gratuito? Qual é a licença?
ai-rag-chat-evaluator é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
ai-rag-chat-evaluator ainda é mantido?
Manutenção ativa. O último commit de ai-rag-chat-evaluator foi em 3 de nov. de 2026.
Para que posso usar ai-rag-chat-evaluator?
Verificar se uma mudança no prompt ou nas configurações de busca melhora a qualidade das respostas antes da implantação. Medir com que frequência um app de chat com RAG admite que não sabe a resposta quando as fontes não a contêm. Executar avaliações rápidas de um subconjunto durante o desenvolvimento, com um número limitado de perguntas. Comparar duas execuções de experimentos, pergunta por pergunta, para encontrar regressões.
Como instalar ai-rag-chat-evaluator?
Instale o Python 3.10 ou superior Crie e ative um ambiente virtual do Python Instale o projeto no ambiente virtual: python -m pip install -e . Execute uma avaliação com a configuração de exemplo: python -m evaltools evaluate --config=example_config.json
Onde consigo ai-rag-chat-evaluator?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/Azure-Samples/ai-rag-chat-evaluator

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados