Azure-Samples/ai-rag-chat-evaluator

어떤 프로젝트인가요?

핵심 기능

• 01근거성, 관련성, 일관성 같은 GPT 기반 지표로 RAG 답변을 평가합니다.
• 02지연 시간, 답변 길이, 인용 여부 확인을 포함한 코드 기반 지표를 계산합니다.
• 03문서만으로는 답할 수 없는 질문을 포함해 정답 질문 세트를 생성합니다.
• 04터미널의 diff 화면에서 실행별 답변을 비교하고, 변경된 지표를 기준으로 필터링합니다.
• 05키 없는 인증을 사용하는 Azure OpenAI 또는 openai.com 계정을 지원합니다.

활용 사례

• 프롬프트나 검색 설정을 변경한 뒤 배포 전에 답변 품질이 향상되는지 확인합니다.
• 원본에 답이 없을 때 RAG 채팅 앱이 모른다고 답하는 빈도를 측정합니다.
• 질문 수를 제한해 개발 중 빠르게 일부 질문만 평가합니다.
• 실험 실행 두 개를 질문별로 비교해 회귀를 찾습니다.

빠른 시작

1. 1

   Python 3.10 이상을 설치합니다

2. 2

   Python 가상 환경을 만들고 활성화합니다

3. 3

   프로젝트를 가상 환경에 설치합니다

   python -m pip install -e .
4. 4

   예제 설정으로 평가를 실행합니다

   python -m evaltools evaluate --config=example_config.json

사용 전 알아둘 점

• !평가에는 GPT-4급 모델이 필요하므로 Azure OpenAI 또는 openai.com 인스턴스가 필요합니다.
• !GPT 기반 평가기를 실행할 때마다 질문 및 사용된 평가기별로 토큰 비용이 발생합니다.
• !기본 제공 메트릭은 영어 프롬프트를 사용하므로 영어 답변에만 적합합니다.

포함된 컬렉션

토픽

자주 묻는 질문

ai-rag-chat-evaluator은(는) 무엇인가요?

Azure AI Evaluate SDK와 OpenAI 기반 평가기를 사용해 RAG 채팅 앱을 평가하는 스크립트와 도구입니다. 이 프로젝트는 검색 증강 생성(RAG)으로 만든 채팅 애플리케이션의 답변 품질을 측정하는 CLI 도구 모음을 제공합니다. 시스템 프롬프트, 검색 설정, GPT 모델 옵션 같은 매개변수는 답변에 영향을 주므로, 각 변경 사항을 정답 질문·답변 쌍으로 구성된 세트와 비교해 확인할 수 있습니다.

ai-rag-chat-evaluator은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

ai-rag-chat-evaluator은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

ai-rag-chat-evaluator은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. ai-rag-chat-evaluator의 마지막 커밋은 2026년 11월 3일입니다.

ai-rag-chat-evaluator은(는) 어디에 사용할 수 있나요?

프롬프트나 검색 설정을 변경한 뒤 배포 전에 답변 품질이 향상되는지 확인합니다. 원본에 답이 없을 때 RAG 채팅 앱이 모른다고 답하는 빈도를 측정합니다. 질문 수를 제한해 개발 중 빠르게 일부 질문만 평가합니다. 실험 실행 두 개를 질문별로 비교해 회귀를 찾습니다.

ai-rag-chat-evaluator는 어떻게 설치하나요?

Python 3.10 이상을 설치합니다 Python 가상 환경을 만들고 활성화합니다 프로젝트를 가상 환경에 설치합니다: python -m pip install -e . 예제 설정으로 평가를 실행합니다: python -m evaltools evaluate --config=example_config.json

ai-rag-chat-evaluator은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/Azure-Samples/ai-rag-chat-evaluator