openevals은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

openevals은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

openevals은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. openevals의 마지막 커밋은 2026년 10월 21일입니다.

openevals은(는) 어디에 사용할 수 있나요?

출시 전에 LLM 챗봇의 답변이 간결하고 정확한지, 환각이 없는지 확인합니다. RAG 파이프라인의 근거 충실도와 검색 관련성을 평가합니다. 모델 출력에서 유해성, PII 유출 또는 prompt injection을 검사합니다. CI 테스트 스위트에 LLM 출력 검사를 추가합니다.

openevals는 어떻게 설치하나요?

pip으로 openevals를 설치합니다: pip install openevals OpenAI API 키를 환경 변수로 설정합니다: export OPENAI_API_KEY="your_openai_api_key" README의 간결성 평가기 예제를 실행합니다

openevals은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/langchain-ai/openevals

langchain-ai/openevals

LLM 애플리케이션 출력을 테스트하는 사전 구성 및 사용자 지정 평가기를 제공하는 Python·TypeScript 라이브러리로, LLM-as-judge 채점을 지원합니다.

GitHub에서 보기

스타: 1,227
포크: 133
열린 이슈: 25
마지막 커밋: 4시간 전

어떤 프로젝트인가요?

OpenEvals는 기존 소프트웨어의 단위 테스트와 비슷한 개념으로, LLM 애플리케이션을 위한 사전 구성 평가기를 제공하는 라이브러리입니다. 시작점으로 활용하도록 만들어져 팀에서 포함된 평가기를 바로 사용한 뒤, 애플리케이션에 맞는 평가기를 직접 작성할 수 있습니다.

핵심은 create_llm_as_judge 함수입니다. 프롬프트와 judge 모델을 받아 입력과 출력을 프롬프트에 맞게 구성하고 judge의 점수를 파싱하는 평가기를 반환합니다. 패키지에는 품질, 안전성, 보안, RAG, 코드, 구조화된 정보 추출, 에이전트 궤적, 음성 및 이미지 콘텐츠를 위한 사전 구성 프롬프트가 포함되어 있습니다. judge 모델은 LangChain을 통한 provider:model 문자열로 지정하거나, chat model 또는 OpenAI client 인스턴스로 전달할 수 있습니다.

OpenEvals에는 exact match, Levenshtein distance, embedding similarity 같은 비LLM 평가기도 포함되어 있으며, LangSmith의 pytest 및 Vitest/Jest 러너와 연동됩니다. Python과 TypeScript를 모두 지원합니다. 에이전트 전용 평가기는 agentevals라는 별도 프로젝트에서 제공합니다.

핵심 기능

01프롬프트와 judge 모델을 사용해 LLM-as-judge 평가기를 생성합니다.
02품질, 안전성, 보안, RAG 및 코드 검사를 위한 사전 구성 프롬프트를 제공합니다.
03사용자 지정 점수 값, 출력 스키마 및 멀티모달 첨부 파일을 지원합니다.
04exact match, Levenshtein distance, embedding similarity 같은 비LLM 평가기를 제공합니다.
05Python과 TypeScript에서 LangSmith pytest 및 Vitest/Jest 러너와 함께 사용할 수 있습니다.

활용 사례

출시 전에 LLM 챗봇의 답변이 간결하고 정확한지, 환각이 없는지 확인합니다.
RAG 파이프라인의 근거 충실도와 검색 관련성을 평가합니다.
모델 출력에서 유해성, PII 유출 또는 prompt injection을 검사합니다.
CI 테스트 스위트에 LLM 출력 검사를 추가합니다.

빠른 시작

1
pip으로 openevals를 설치합니다
pip install openevals
2
OpenAI API 키를 환경 변수로 설정합니다
export OPENAI_API_KEY="your_openai_api_key"
3
README의 간결성 평가기 예제를 실행합니다

사용 전 알아둘 점

빠른 시작과 기본 LLM-as-judge 평가기를 사용하려면 유료 서비스인 OpenAI의 API 키가 필요합니다.

토픽

#llm-evaluation #evals #llm #testing #llm-as-judge #rag #langchain

자주 묻는 질문

openevals은(는) 무엇인가요?: LLM 애플리케이션 출력을 테스트하는 사전 구성 및 사용자 지정 평가기를 제공하는 Python·TypeScript 라이브러리로, LLM-as-judge 채점을 지원합니다. OpenEvals는 기존 소프트웨어의 단위 테스트와 비슷한 개념으로, LLM 애플리케이션을 위한 사전 구성 평가기를 제공하는 라이브러리입니다. 시작점으로 활용하도록 만들어져 팀에서 포함된 평가기를 바로 사용한 뒤, 애플리케이션에 맞는 평가기를 직접 작성할 수 있습니다.
openevals은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?: openevals은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
openevals은(는) 아직 유지보수되고 있나요?: 활발히 유지보수 중. openevals의 마지막 커밋은 2026년 10월 21일입니다.
openevals은(는) 어디에 사용할 수 있나요?: 출시 전에 LLM 챗봇의 답변이 간결하고 정확한지, 환각이 없는지 확인합니다. RAG 파이프라인의 근거 충실도와 검색 관련성을 평가합니다. 모델 출력에서 유해성, PII 유출 또는 prompt injection을 검사합니다. CI 테스트 스위트에 LLM 출력 검사를 추가합니다.
openevals는 어떻게 설치하나요?: pip으로 openevals를 설치합니다: pip install openevals OpenAI API 키를 환경 변수로 설정합니다: export OPENAI_API_KEY="your_openai_api_key" README의 간결성 평가기 예제를 실행합니다
openevals은(는) 어디서 받을 수 있나요?: 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/langchain-ai/openevals

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.