Repolode
evidentlyai

evidentlyai/evidently

Framework Python open source para avaliar, testar e monitorar sistemas de ML e LLM, com mais de 100 métricas integradas e detecção de drift.

Estrelas
7,999
Forks
954
Issues abertas
345
Último commit
há 23 dias

O que é?

Evidently é uma biblioteca Python open source para avaliar, testar e monitorar sistemas de machine learning e LLM, desde a fase de experimentação até a produção. Ela abrange dados tabulares e de texto, com avaliações para tarefas preditivas, como classificação e regressão, e tarefas generativas, como RAG e qualidade das respostas de LLM.

O fluxo de trabalho principal usa Reports, que calculam e resumem métricas, e Test Suites, que adicionam condições de aprovação ou reprovação a um Report para testes de regressão, verificações de CI/CD ou validação de dados. Os Reports podem ser visualizados em Python ou exportados como JSON, dicionário Python ou HTML. Detecção de data drift, verificações de qualidade de dados e LLM judges estão entre as opções integradas, e é possível criar métricas personalizadas em Python.

Para monitoramento contínuo, Evidently oferece uma interface web que acompanha métricas e resultados de testes ao longo do tempo. Ela pode ser auto-hospedada a partir do pacote open source ou usada pelo serviço gerenciado Evidently Cloud.

Recursos principais

  • 01Métricas integradas para data drift, qualidade de dados, classificação, regressão, ranking e recomendações.
  • 02Avaliação de LLM com descritores de texto e avaliadores LLM-as-a-judge.
  • 03Reports e Test Suites com condições de aprovação ou reprovação para CI/CD e verificações de regressão.
  • 04Exporte resultados como HTML, JSON ou dicionários Python.
  • 05Interface de monitoramento auto-hospedada para acompanhar métricas ao longo do tempo.

Casos de uso

  • Detectar se os dados de entrada em produção sofreram drift em relação aos dados de treinamento.
  • Executar testes de regressão nas respostas de LLM ou RAG em um pipeline de CI.
  • Validar a qualidade dos dados antes do treinamento de modelos ou de pipelines em lote.
  • Monitorar ao longo do tempo, em um dashboard, o desempenho de um modelo de ML implantado.

Início rápido

  1. 1

    Instale o Evidently pelo PyPI

    pip install evidently
  2. 2

    Execute a interface do Evidently com projetos de demonstração

    evidently ui --demo-projects all
  3. 3

    Abra localhost:8000 no navegador para acessar a interface

Antes de usar

  • Alguns recursos avançados, como alertas, gerenciamento de conjuntos de dados e usuários e avaliações sem código, estão disponíveis apenas no Evidently Cloud, plano pago, e não na versão de código aberto.

Tópicos

Perguntas frequentes

O que é evidently?
Framework Python open source para avaliar, testar e monitorar sistemas de ML e LLM, com mais de 100 métricas integradas e detecção de drift. Evidently é uma biblioteca Python open source para avaliar, testar e monitorar sistemas de machine learning e LLM, desde a fase de experimentação até a produção. Ela abrange dados tabulares e de texto, com avaliações para tarefas preditivas, como classificação e regressão, e tarefas generativas, como RAG e qualidade das respostas de LLM.
evidently é gratuito? Qual é a licença?
evidently é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
evidently ainda é mantido?
Manutenção ativa. O último commit de evidently foi em 29 de set. de 2026.
Para que posso usar evidently?
Detectar se os dados de entrada em produção sofreram drift em relação aos dados de treinamento. Executar testes de regressão nas respostas de LLM ou RAG em um pipeline de CI. Validar a qualidade dos dados antes do treinamento de modelos ou de pipelines em lote. Monitorar ao longo do tempo, em um dashboard, o desempenho de um modelo de ML implantado.
Como instalar evidently?
Instale o Evidently pelo PyPI: pip install evidently Execute a interface do Evidently com projetos de demonstração: evidently ui --demo-projects all Abra localhost:8000 no navegador para acessar a interface
Onde consigo evidently?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/evidentlyai/evidently

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados