Repolode
제출하기
braintrustdata

braintrustdata/autoevals

LLM 심판 평가, 휴리스틱 및 통계 평가기로 AI 모델 출력을 채점하는 Python·TypeScript 라이브러리입니다.

GitHub에서 보기
스타
1,073
포크
100
열린 이슈
59
마지막 커밋
7일 전

어떤 프로젝트인가요?

Autoevals는 AI 모델의 출력을 자동으로 평가하는 라이브러리입니다. 입력, 출력, 기대값을 전달하면 다양한 내장 평가기 중 하나가 0~1 사이의 점수를 반환하는 일관된 인터페이스를 제공합니다.

이 라이브러리는 세 가지 평가 방식을 제공합니다. 사실성, 안전성, 요약, SQL, 번역 등의 작업에서 LLM이 심판 역할을 하는 모델 평가, Levenshtein 거리·정확히 일치 여부·JSON diff 같은 휴리스틱 검사, BLEU 같은 통계 지표입니다. 또한 faithfulness, context recall, answer relevancy를 위한 RAG 전용 평가기와 임베딩 유사도도 포함합니다.

선택지별 점수를 설정할 수 있는 사용자 지정 프롬프트 템플릿이나 Score 객체를 반환하는 일반 함수를 사용해 평가를 직접 정의할 수 있습니다. 기본적으로 OPENAI_API_KEY로 인증하며, Braintrust AI Gateway를 비롯한 OpenAI 호환 엔드포인트를 지정할 수도 있습니다. 평가 결과는 선택적으로 Braintrust에 기록할 수 있습니다.

핵심 기능

  • 01Factuality, Closed QA, Moderation, SQL 등의 모델 평가기
  • 02Levenshtein 거리, 정확히 일치 여부, JSON diff를 포함한 휴리스틱 평가기
  • 03faithfulness, context recall, answer relevancy를 위한 RAG 평가기
  • 04사용자 지정 프롬프트 템플릿과 Python 또는 TypeScript 채점 함수
  • 05동기·비동기 호출을 지원하며 모든 OpenAI 호환 API와 연동

활용 사례

  • LLM 답변이 기준 답변과 사실적으로 일치하는지 확인
  • 개발 중 RAG 파이프라인의 검색 및 답변 품질 채점
  • 테스트 스위트에서 일관된 지표로 프롬프트나 모델 버전 비교
  • 기존 평가 워크플로에 사용자 지정 LLM 심판 평가 또는 규칙 기반 검사 추가

빠른 시작

  1. 1

    pip으로 Python 패키지를 설치합니다

    pip install autoevals
  2. 2

    환경 변수 OPENAI_API_KEY를 설정합니다(기본 인증 방식)

  3. 3

    Python에서 Factuality 평가를 실행합니다

사용 전 알아둘 점

  • LLM 기반 평가기는 API 키가 필요하며 기본적으로 유료 모델 호출이 발생합니다. 단, Braintrust Gateway는 베타 기간 동안 무료입니다.

포함된 컬렉션

테스트 프레임워크 & 자동화 테스트 도구

토픽

#llm-evaluation#evals#llm-as-a-judge#rag#testing#openai#python#typescript

자주 묻는 질문

autoevals은(는) 무엇인가요?
LLM 심판 평가, 휴리스틱 및 통계 평가기로 AI 모델 출력을 채점하는 Python·TypeScript 라이브러리입니다. Autoevals는 AI 모델의 출력을 자동으로 평가하는 라이브러리입니다. 입력, 출력, 기대값을 전달하면 다양한 내장 평가기 중 하나가 0~1 사이의 점수를 반환하는 일관된 인터페이스를 제공합니다.
autoevals은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
autoevals은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
autoevals은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. autoevals의 마지막 커밋은 2026년 10월 30일입니다.
autoevals은(는) 어디에 사용할 수 있나요?
LLM 답변이 기준 답변과 사실적으로 일치하는지 확인 개발 중 RAG 파이프라인의 검색 및 답변 품질 채점 테스트 스위트에서 일관된 지표로 프롬프트나 모델 버전 비교 기존 평가 워크플로에 사용자 지정 LLM 심판 평가 또는 규칙 기반 검사 추가
autoevals는 어떻게 설치하나요?
pip으로 Python 패키지를 설치합니다: pip install autoevals 환경 변수 OPENAI_API_KEY를 설정합니다(기본 인증 방식) Python에서 Factuality 평가를 실행합니다
autoevals은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/braintrustdata/autoevals

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트