Repolode
evidentlyai

evidentlyai/evidently

100개 이상의 기본 제공 지표와 드리프트 감지 기능을 갖춘 ML 및 LLM 시스템 평가·테스트·모니터링용 오픈소스 Python 프레임워크입니다.

스타
7,999
포크
954
열린 이슈
345
마지막 커밋
23일 전

어떤 프로젝트인가요?

Evidently는 실험부터 프로덕션까지 머신러닝 및 LLM 시스템을 평가하고 테스트하며 모니터링하는 오픈소스 Python 라이브러리입니다. 테이블형 데이터와 텍스트 데이터를 지원하며, 분류와 회귀 같은 예측 작업뿐 아니라 RAG 및 LLM 출력 품질 같은 생성 작업도 평가합니다.

핵심 워크플로는 지표를 계산하고 요약하는 Reports와, 회귀 테스트·CI/CD 검사·데이터 검증을 위해 Report에 통과/실패 조건을 추가하는 Test Suites를 사용합니다. Reports는 Python에서 확인하거나 JSON, Python 딕셔너리 또는 HTML로 내보낼 수 있습니다. 데이터 드리프트 감지, 데이터 품질 검사, LLM judges 등의 기능이 기본 제공되며, Python으로 사용자 지정 지표를 작성할 수도 있습니다.

지속적인 모니터링을 위해 Evidently는 시간에 따른 지표와 테스트 결과를 추적하는 웹 UI를 제공합니다. 오픈소스 패키지를 이용해 직접 호스팅하거나 관리형 서비스인 Evidently Cloud를 사용할 수 있습니다.

핵심 기능

  • 01데이터 드리프트, 데이터 품질, 분류, 회귀, 랭킹 및 추천을 위한 기본 제공 지표.
  • 02텍스트 디스크립터와 LLM-as-a-judge 평가기를 사용한 LLM 평가.
  • 03CI/CD 및 회귀 검사를 위한 통과/실패 조건을 지원하는 Reports 및 Test Suites.
  • 04결과를 HTML, JSON 또는 Python 딕셔너리로 내보내기.
  • 05시간에 따른 지표 추적을 위한 자체 호스팅 모니터링 UI.

활용 사례

  • 프로덕션 입력 데이터가 학습 데이터와 비교해 드리프트했는지 감지.
  • CI 파이프라인에서 LLM 또는 RAG 출력에 대한 회귀 테스트 실행.
  • 모델 학습이나 배치 파이프라인을 실행하기 전에 데이터 품질 검증.
  • 대시보드에서 배포된 ML 모델의 성능을 시간에 따라 모니터링.

빠른 시작

  1. 1

    PyPI에서 Evidently를 설치하세요

    pip install evidently
  2. 2

    데모 프로젝트와 함께 Evidently UI를 실행하세요

    evidently ui --demo-projects all
  3. 3

    브라우저에서 localhost:8000을 열어 UI에 액세스하세요

사용 전 알아둘 점

  • 알림, 데이터 세트 및 사용자 관리, 노코드 평가와 같은 일부 고급 기능은 유료 플랜인 Evidently Cloud에서만 제공되며 오픈 소스 버전에는 포함되지 않습니다.

토픽

자주 묻는 질문

evidently은(는) 무엇인가요?
100개 이상의 기본 제공 지표와 드리프트 감지 기능을 갖춘 ML 및 LLM 시스템 평가·테스트·모니터링용 오픈소스 Python 프레임워크입니다. Evidently는 실험부터 프로덕션까지 머신러닝 및 LLM 시스템을 평가하고 테스트하며 모니터링하는 오픈소스 Python 라이브러리입니다. 테이블형 데이터와 텍스트 데이터를 지원하며, 분류와 회귀 같은 예측 작업뿐 아니라 RAG 및 LLM 출력 품질 같은 생성 작업도 평가합니다.
evidently은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
evidently은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
evidently은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. evidently의 마지막 커밋은 2026년 9월 29일입니다.
evidently은(는) 어디에 사용할 수 있나요?
프로덕션 입력 데이터가 학습 데이터와 비교해 드리프트했는지 감지. CI 파이프라인에서 LLM 또는 RAG 출력에 대한 회귀 테스트 실행. 모델 학습이나 배치 파이프라인을 실행하기 전에 데이터 품질 검증. 대시보드에서 배포된 ML 모델의 성능을 시간에 따라 모니터링.
evidently는 어떻게 설치하나요?
PyPI에서 Evidently를 설치하세요: pip install evidently 데모 프로젝트와 함께 Evidently UI를 실행하세요: evidently ui --demo-projects all 브라우저에서 localhost:8000을 열어 UI에 액세스하세요
evidently은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/evidentlyai/evidently

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트