Repolode
제출하기
KRLabsOrg

KRLabsOrg/LettuceDetect

RAG, 코드 에이전트 및 도구 기반 AI 답변에서 근거가 없는 부분을 출처와 대조해 표시하는 오픈소스 문장 범위 환각 감지기입니다.

GitHub에서 보기웹사이트
스타
620
포크
64
열린 이슈
28
마지막 커밋
19시간 전

어떤 프로젝트인가요?

LettuceDetect는 AI가 생성한 답변이 답변의 근거로 제시된 증거와 일치하는지 확인합니다. 문맥, 질문, 답변을 입력하면 답변 전체를 정상 또는 문제 있음으로만 판정하는 대신, 근거가 없거나 모순되거나 지어낸 내용이 있는 정확한 문자 범위를 표시합니다. RAG 텍스트, 다국어 QA, 코딩 에이전트 응답, 개발자 도구 출력물을 지원합니다.

이 프로젝트는 두 종류의 모델을 제공합니다. 빠른 인코더 모델(영어용 ModernBERT, 여러 언어를 지원하는 EuroBERT, mmBERT 기반 v2 모델)은 토큰 분류기로 로컬에서 실행됩니다. 2B Qwen 기반 v2 감지기와 같은 생성 모델은 한 번에 범주와 하위 범주가 지정된 범위를 출력합니다. 인코더에 taxonomy head를 추가해 범위에 레이블을 지정할 수도 있습니다. 비교를 위해 OpenAI API를 사용하는 LLM 기반 기준 모델도 포함되어 있습니다.

Python 패키지는 PyPI에서 설치할 수 있으며, 몇 줄의 코드로 Hugging Face에서 모델을 불러올 수 있습니다. Python 클라이언트가 포함된 FastAPI 웹 서버, Streamlit 데모, RAGTruth 데이터셋용 학습 및 평가 스크립트도 함께 제공됩니다.

핵심 기능

  • 01답변에서 근거가 없거나 지어낸 내용의 정확한 문자 범위를 반환합니다.
  • 02빠른 추론을 위한 로컬 인코더 모델과 각 범위의 유형을 지정하는 생성 모델을 제공합니다.
  • 03영어 및 다국어 RAG 답변은 물론 코딩 에이전트와 도구의 출력도 지원합니다.
  • 04pip로 설치할 수 있는 Python API와 Python 클라이언트를 포함한 FastAPI 서버를 제공합니다.
  • 05RAGTruth 데이터셋용 학습 및 평가 스크립트를 포함합니다.

활용 사례

  • RAG 챗봇의 답변이 검색된 문서에 근거하는지 확인합니다.
  • 저장소의 소스 코드와 대조해 코딩 에이전트 응답에 지어낸 API나 잘못된 값이 있는지 표시합니다.
  • 도구 기반 출력을 사용자에게 보여 주기 전에 검사합니다.
  • RAGTruth 형식의 데이터로 환각 감지기를 벤치마킹합니다.

빠른 시작

  1. 1

    PyPI에서 패키지를 설치합니다

    pip install lettucedetect -U
  2. 2

    컨텍스트, 질문, 답변을 탐지기에 입력해 실행합니다(README의 Python 예제를 참조하세요)

사용 전 알아둘 점

  • EuroBERT 모델은 아직 transformers 5와 호환되지 않으므로 transformers 5.x 미만이 필요합니다.
  • LLM 기반 베이스라인을 사용하려면 OpenAI API 키가 필요합니다.

포함된 컬렉션

테스트 프레임워크 & 자동화 테스트 도구자연어 처리 도구 및 라이브러리

토픽

#hallucination-detection#rag#nlp#token-classification#pytorch#bert#llm-evaluation#hallucination-evaluation#information-extraction#python

자주 묻는 질문

LettuceDetect은(는) 무엇인가요?
RAG, 코드 에이전트 및 도구 기반 AI 답변에서 근거가 없는 부분을 출처와 대조해 표시하는 오픈소스 문장 범위 환각 감지기입니다. LettuceDetect는 AI가 생성한 답변이 답변의 근거로 제시된 증거와 일치하는지 확인합니다. 문맥, 질문, 답변을 입력하면 답변 전체를 정상 또는 문제 있음으로만 판정하는 대신, 근거가 없거나 모순되거나 지어낸 내용이 있는 정확한 문자 범위를 표시합니다. RAG 텍스트, 다국어 QA, 코딩 에이전트 응답, 개발자 도구 출력물을 지원합니다.
LettuceDetect은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
LettuceDetect은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
LettuceDetect은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. LettuceDetect의 마지막 커밋은 2026년 11월 6일입니다.
LettuceDetect은(는) 어디에 사용할 수 있나요?
RAG 챗봇의 답변이 검색된 문서에 근거하는지 확인합니다. 저장소의 소스 코드와 대조해 코딩 에이전트 응답에 지어낸 API나 잘못된 값이 있는지 표시합니다. 도구 기반 출력을 사용자에게 보여 주기 전에 검사합니다. RAGTruth 형식의 데이터로 환각 감지기를 벤치마킹합니다.
LettuceDetect는 어떻게 설치하나요?
PyPI에서 패키지를 설치합니다: pip install lettucedetect -U 컨텍스트, 질문, 답변을 탐지기에 입력해 실행합니다(README의 Python 예제를 참조하세요)
LettuceDetect은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/KRLabsOrg/LettuceDetect

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트

cvs-health / uqlm

불확실성 정량화를 통해 LLM 응답의 환각 가능성을 평가하는 Python 라이브러리로, 블랙박스·화이트박스·심판·앙상블 스코어러를 제공합니다.

AI·머신러닝#hallucination-detection#uncertainty-quantification#llm-evaluation
1.2천+2 이번 주140PythonApache-2.0활발히 관리됨업데이트 25일 전