openlayer-ai/jevals

어떤 프로젝트인가요?

핵심 기능

• 01한 트레이스의 모든 평가를 의사결정 모델에 한 번의 요청으로 보냅니다.
• 02에이전트 동작, 보안, 품질 전반에 걸쳐 Ragas 스타일 지표를 포함한 37개 평가를 제공합니다.
• 03공통 스키마를 사용해 Python 클래스나 YAML 파일로 평가를 정의합니다.
• 04게이트를 통해 도구 호출을 허용·상향 처리·차단하고, PII/PHI가 모델에 전달되기 전에 삭제할 수 있습니다.
• 05TypeSafe 또는 Vercel을 통한 Jev, OpenRouter, Kev, Laya, Eikos, 채팅 LLM 등 여러 백엔드를 지원합니다.
• 06레이블이 지정된 데이터를 기준으로 트레이스를 재생하고 임계값을 보정하는 CLI를 제공합니다.

활용 사례

• 모든 요청에서 도구 오용, 근거 없는 답변, 범위 위반 여부를 확인하도록 프로덕션 에이전트 트레이스를 평가합니다.
• 에이전트가 도구 결과나 검색 문서의 간접 프롬프트 인젝션에 반응하기 전에 이를 차단합니다.
• 환불이나 데이터베이스 삭제처럼 되돌릴 수 없는 도구 호출에 사람의 상향 처리를 적용합니다.
• 비용이 많이 드는 LLM 평가자 없이 RAG 또는 에이전트 파이프라인의 오프라인 회귀 평가를 수행합니다.

빠른 시작

1. 1

   PyPI에서 패키지를 설치합니다

   pip install jevals
2. 2

   Vercel AI Gateway를 통해 Jev 백엔드용 API 키를 설정합니다

   export AI_GATEWAY_API_KEY=...

사용 전 알아둘 점

• !보정된 eval을 실행하려면 Jev API 키, TypeSafe 계정 또는 Kev나 Eikos와 같은 셀프 호스팅 결정 모델이 필요합니다.
• !로컬 실행 옵션은 하드웨어에 따라 다릅니다. Kev와 Laya에는 Mac이 필요하고, Eikos에는 GPU가 필요합니다.
• !결정 모델이 없으면 에뮬레이트된 chat-LLM 백엔드는 0.00 또는 1.00의 확률만 반환합니다.

포함된 컬렉션

토픽

자주 묻는 질문

jevals은(는) 무엇인가요?

호스팅 환경이나 로컬에서 실행되는 Jev 스타일 의사결정 모델로 에이전트 평가와 가드레일을 수행하며, 한 트레이스의 모든 검사를 한 번의 요청으로 처리하는 Python 라이브러리입니다. jevals는 최첨단 LLM을 평가자로 사용하는 대신 의사결정 모델을 사용해 LLM 에이전트를 평가하고 가드레일을 적용합니다. 각 평가는 유형이 지정된 예/아니요, 선택형 또는 루브릭 질문이며, 한 트레이스의 모든 평가를 단일 요청으로 묶어 보정된 확률을 반환합니다. 에이전트 동작(도구 선택, 근거성, 범위, 루프), 보안(프롬프트 및 간접 인젝션, PII/PHI, 시크릿), Ragas 스타일 품질 지표를 다룹니다.

jevals은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

jevals은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

jevals은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. jevals의 마지막 커밋은 2026년 11월 2일입니다.

jevals은(는) 어디에 사용할 수 있나요?

모든 요청에서 도구 오용, 근거 없는 답변, 범위 위반 여부를 확인하도록 프로덕션 에이전트 트레이스를 평가합니다. 에이전트가 도구 결과나 검색 문서의 간접 프롬프트 인젝션에 반응하기 전에 이를 차단합니다. 환불이나 데이터베이스 삭제처럼 되돌릴 수 없는 도구 호출에 사람의 상향 처리를 적용합니다. 비용이 많이 드는 LLM 평가자 없이 RAG 또는 에이전트 파이프라인의 오프라인 회귀 평가를 수행합니다.

jevals는 어떻게 설치하나요?

PyPI에서 패키지를 설치합니다: pip install jevals Vercel AI Gateway를 통해 Jev 백엔드용 API 키를 설정합니다: export AI_GATEWAY_API_KEY=...

jevals은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/openlayer-ai/jevals