vectara/hallucination-leaderboard

어떤 프로젝트인가요?

핵심 기능

• 01문서 요약에서의 환각률을 기준으로 수십 개 LLM의 순위를 매깁니다.
• 02Vectara의 HHEM 모델을 사용해 각 요약의 사실 일관성을 평가합니다.
• 03정확도와 함께 응답률 및 평균 요약 길이를 공개합니다.
• 04사용된 프롬프트, temperature, 정확한 모델 버전을 기록합니다.
• 05과적합을 줄이기 위해 평가 데이터셋을 비공개로 유지합니다.

활용 사례

• 사실 신뢰성을 기준으로 요약 또는 RAG 파이프라인에 사용할 LLM 후보를 비교합니다.
• 유창함보다 원문에 대한 충실도가 중요한 경우 모델을 선택합니다.
• 시간이 지남에 따라 모델 출시별 환각률 변화를 추적합니다.

사용 전 알아둘 점

• !평가 모델 HHEM-2.3은 Vectara의 상용 모델이며, 공개된 것은 오픈 소스 버전(HHEM-2.1-Open)뿐입니다.
• !평가 데이터셋이 공개되지 않아 데이터로 순위를 독립적으로 재현할 수 없습니다.

토픽

자주 묻는 질문

hallucination-leaderboard은(는) 무엇인가요?

Vectara의 HHEM 평가 모델로 짧은 문서 요약 시 LLM의 환각 발생 빈도를 측정해 순위를 매기는 공개 리더보드입니다. 이 저장소는 대규모 언어 모델이 문서를 요약할 때 환각을 얼마나 자주 만들어 내는지 측정하는 공개 리더보드를 제공합니다. 각 모델에는 7,700개가 넘는 문서로 구성된 비공개 데이터셋에서 문서 하나를 제시하고, 원문에 있는 사실만 사용해 요약하도록 요청합니다. 그런 다음 Vectara의 Hallucination Evaluation Model(HHEM)이 각 요약이 원문과 사실적으로 일치하는지 확인해 모델별 환각률과 사실 일관성 비율을 산출합니다.

hallucination-leaderboard은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

hallucination-leaderboard은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

hallucination-leaderboard은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. hallucination-leaderboard의 마지막 커밋은 2026년 10월 17일입니다.

hallucination-leaderboard은(는) 어디에 사용할 수 있나요?

사실 신뢰성을 기준으로 요약 또는 RAG 파이프라인에 사용할 LLM 후보를 비교합니다. 유창함보다 원문에 대한 충실도가 중요한 경우 모델을 선택합니다. 시간이 지남에 따라 모델 출시별 환각률 변화를 추적합니다.

hallucination-leaderboard은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/vectara/hallucination-leaderboard