Biblioteca Python de qualidade de dados que permite às equipes escrever Expectations declarativas como testes unitários para os dados e gerar relatórios de validação.
evidentlyai/evidently
Framework Python open source para avaliar, testar e monitorar sistemas de ML e LLM, com mais de 100 métricas integradas e detecção de drift.
- Estrelas
- 7,999
- Forks
- 954
- Issues abertas
- 345
- Último commit
- há 23 dias
O que é?
Evidently é uma biblioteca Python open source para avaliar, testar e monitorar sistemas de machine learning e LLM, desde a fase de experimentação até a produção. Ela abrange dados tabulares e de texto, com avaliações para tarefas preditivas, como classificação e regressão, e tarefas generativas, como RAG e qualidade das respostas de LLM.
O fluxo de trabalho principal usa Reports, que calculam e resumem métricas, e Test Suites, que adicionam condições de aprovação ou reprovação a um Report para testes de regressão, verificações de CI/CD ou validação de dados. Os Reports podem ser visualizados em Python ou exportados como JSON, dicionário Python ou HTML. Detecção de data drift, verificações de qualidade de dados e LLM judges estão entre as opções integradas, e é possível criar métricas personalizadas em Python.
Para monitoramento contínuo, Evidently oferece uma interface web que acompanha métricas e resultados de testes ao longo do tempo. Ela pode ser auto-hospedada a partir do pacote open source ou usada pelo serviço gerenciado Evidently Cloud.
Recursos principais
- 01Métricas integradas para data drift, qualidade de dados, classificação, regressão, ranking e recomendações.
- 02Avaliação de LLM com descritores de texto e avaliadores LLM-as-a-judge.
- 03Reports e Test Suites com condições de aprovação ou reprovação para CI/CD e verificações de regressão.
- 04Exporte resultados como HTML, JSON ou dicionários Python.
- 05Interface de monitoramento auto-hospedada para acompanhar métricas ao longo do tempo.
Casos de uso
- Detectar se os dados de entrada em produção sofreram drift em relação aos dados de treinamento.
- Executar testes de regressão nas respostas de LLM ou RAG em um pipeline de CI.
- Validar a qualidade dos dados antes do treinamento de modelos ou de pipelines em lote.
- Monitorar ao longo do tempo, em um dashboard, o desempenho de um modelo de ML implantado.
Início rápido
- 1
Instale o Evidently pelo PyPI
pip install evidently - 2
Execute a interface do Evidently com projetos de demonstração
evidently ui --demo-projects all - 3
Abra localhost:8000 no navegador para acessar a interface
Antes de usar
- Alguns recursos avançados, como alertas, gerenciamento de conjuntos de dados e usuários e avaliações sem código, estão disponíveis apenas no Evidently Cloud, plano pago, e não na versão de código aberto.
Tópicos
Perguntas frequentes
- O que é evidently?
- Framework Python open source para avaliar, testar e monitorar sistemas de ML e LLM, com mais de 100 métricas integradas e detecção de drift. Evidently é uma biblioteca Python open source para avaliar, testar e monitorar sistemas de machine learning e LLM, desde a fase de experimentação até a produção. Ela abrange dados tabulares e de texto, com avaliações para tarefas preditivas, como classificação e regressão, e tarefas generativas, como RAG e qualidade das respostas de LLM.
- evidently é gratuito? Qual é a licença?
- evidently é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- evidently ainda é mantido?
- Manutenção ativa. O último commit de evidently foi em 29 de set. de 2026.
- Para que posso usar evidently?
- Detectar se os dados de entrada em produção sofreram drift em relação aos dados de treinamento. Executar testes de regressão nas respostas de LLM ou RAG em um pipeline de CI. Validar a qualidade dos dados antes do treinamento de modelos ou de pipelines em lote. Monitorar ao longo do tempo, em um dashboard, o desempenho de um modelo de ML implantado.
- Como instalar evidently?
- Instale o Evidently pelo PyPI: pip install evidently Execute a interface do Evidently com projetos de demonstração: evidently ui --demo-projects all Abra localhost:8000 no navegador para acessar a interface
- Onde consigo evidently?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/evidentlyai/evidently
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Plataforma open source para acompanhar e visualizar treinamentos de IA, registrando métricas, hiperparâmetros e dados de hardware, com implantação na nuvem ou autohospedada.
Curso online gratuito e autodirigido de 9 semanas sobre MLOps: rastreamento de experimentos, orquestração, implantação, monitoramento e boas práticas.
Biblioteca Python para criar e servir APIs de inferência de modelos de IA, pipelines com vários modelos e apps de LLM, com implantação em Docker e Kubernetes.
Ranking público de LLMs pela frequência com que alucinam ao resumir documentos curtos, avaliado pelo modelo HHEM da Vectara.
Plataforma Python open source para criar workflows de ML e IA como pipelines executados na sua própria infraestrutura ou na nuvem, do treinamento de modelos a agentes.