EleutherAI/lm-evaluation-harness

어떤 프로젝트인가요?

핵심 기능

• 01수백 가지 하위 작업을 포함한 60개 이상의 표준 학술 LLM 벤치마크를 지원합니다.
• 02Hugging Face transformers, vLLM, SGLang, llama.cpp, ONNX Runtime, NeMo 백엔드를 지원합니다.
• 03OpenAI, Anthropic, TextSynth 등 API 제공업체의 호스팅 모델을 평가합니다.
• 04데이터 병렬 처리, 모델 샤딩, 텐서 병렬 처리를 통해 여러 GPU에서 평가할 수 있습니다.
• 05작업과 프롬프트를 YAML로 정의하고 CLI 또는 Python API에서 실행합니다.
• 06설정이나 플러그인을 통해 사용자 지정 작업, 메트릭, 모델 백엔드를 추가할 수 있습니다.

활용 사례

• 새로 학습하거나 파인튜닝한 모델을 표준 학술 작업으로 벤치마킹합니다.
• 논문에서 사용한 것과 동일한 프롬프트로 발표된 평가 수치를 재현합니다.
• 하나의 설정에서 양자화 모델, LoRA 적용 모델, 자체 호스팅 모델을 호스팅 API와 비교합니다.
• 모델 체크포인트가 변경될 때 CI에서 회귀 평가를 실행합니다.

빠른 시작

1. 1

   저장소를 클론합니다

   git clone --depth 1 https://github.com/EleutherAI/lm-evaluation-harness
2. 2

   프로젝트 디렉터리로 이동해 패키지를 편집 가능 모드로 설치합니다

   cd lm-evaluation-harness && pip install -e .
3. 3

   HuggingFace 모델 백엔드를 설치합니다

   pip install "lm_eval[hf]"
4. 4

   hellaswag에서 HuggingFace 모델을 평가합니다

   lm_eval --model hf --model_args pretrained=EleutherAI/gpt-j-6B --tasks hellaswag --device cuda:0 --batch_size 8

사용 전 알아둘 점

• !HuggingFace 또는 vLLM과 같은 모델 백엔드는 별도로 설치해야 하며, 실행 예제는 CUDA GPU를 사용한다고 가정합니다.

토픽

자주 묻는 질문

lm-evaluation-harness은(는) 무엇인가요?

수십 가지 표준 학술 벤치마크에서 언어 모델의 few-shot 평가를 실행하는 통합 프레임워크입니다. lm-evaluation-harness는 다양한 표준 벤치마크에서 생성형 언어 모델을 평가하는 프레임워크입니다. 수백 가지 하위 작업과 변형을 포함한 60개 이상의 학술 벤치마크를 구현하며, 논문 간 결과를 비교할 수 있도록 공개 프롬프트를 사용합니다.

lm-evaluation-harness은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

lm-evaluation-harness은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

lm-evaluation-harness은(는) 아직 유지보수되고 있나요?

6개월 이내 업데이트. lm-evaluation-harness의 마지막 커밋은 2026년 9월 14일입니다.

lm-evaluation-harness은(는) 어디에 사용할 수 있나요?

새로 학습하거나 파인튜닝한 모델을 표준 학술 작업으로 벤치마킹합니다. 논문에서 사용한 것과 동일한 프롬프트로 발표된 평가 수치를 재현합니다. 하나의 설정에서 양자화 모델, LoRA 적용 모델, 자체 호스팅 모델을 호스팅 API와 비교합니다. 모델 체크포인트가 변경될 때 CI에서 회귀 평가를 실행합니다.

lm-evaluation-harness는 어떻게 설치하나요?

저장소를 클론합니다: git clone --depth 1 https://github.com/EleutherAI/lm-evaluation-harness 프로젝트 디렉터리로 이동해 패키지를 편집 가능 모드로 설치합니다: cd lm-evaluation-harness && pip install -e . HuggingFace 모델 백엔드를 설치합니다: pip install "lm_eval[hf]" hellaswag에서 HuggingFace 모델을 평가합니다: lm_eval --model hf --model_args pretrained=EleutherAI/gpt-j-6B --tasks hellaswag --device cuda:0 --batch_size 8

lm-evaluation-harness은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/EleutherAI/lm-evaluation-harness