stalkermustang/llm-bulls-and-cows-benchmark

어떤 프로젝트인가요?

핵심 기능

• 01LiteLLM을 통해 다양한 LLM 제공자를 지원합니다
• 02성공률, 형식 오류, 승리한 게임의 평균 턴 수를 보고합니다
• 03실시간 진행률 표시줄과 함께 여러 게임을 동시에 실행합니다
• 04YAML을 통해 숫자 자릿수와 중복 규칙을 설정할 수 있습니다
• 05Markdown 표와 대화형 HTML 시각화 자료를 내보냅니다

활용 사례

• 간단하고 재현 가능한 퍼즐로 여러 LLM의 추론 능력을 비교합니다
• 모델이 엄격한 출력 형식 지침을 따르는지 테스트합니다
• 자신의 API 키를 사용해 공개된 LLM 벤치마크 결과를 재현하거나 확장합니다

빠른 시작

1. 1

   종속성을 설치하고 pre-commit 훅을 설정합니다

   pip install -r requirements.txt pre-commit install
2. 2

   LLM 제공업체의 API 키를 환경 변수로 설정합니다

3. 3

   원하는 모델과 게임 설정에 맞게 config 파일을 조정합니다

4. 4

   벤치마크를 실행하고 결과를 시각화합니다

   python run_benchmark.py python scripts/visualize_results.py

사용 전 알아둘 점

• !벤치마크를 실행하려면 LLM 제공업체의 유료 API 크레딧이 필요하며, 전체 실행에는 수십 달러가 들 수 있습니다.
• !대부분의 모델은 게임 50개로만 테스트했기 때문에 게시된 결과의 신뢰 구간이 넓습니다.

토픽

자주 묻는 질문

llm-bulls-and-cows-benchmark은(는) 무엇인가요?

LiteLLM 호환 제공자를 통해 LLM이 Bulls and Cows 게임을 플레이하게 해 성능을 측정하는 Python 프레임워크입니다. LLM Bulls and Cows Benchmark는 코드 맞히기 게임인 Bulls and Cows에서 대형 언어 모델이 얼마나 잘 추론하는지 측정하는 미니 프레임워크입니다. 이 게임에서는 추측할 때마다 정답 숫자와 자리까지 맞힌 개수(bull), 숫자만 맞힌 개수(cow)를 알려줍니다. LiteLLM을 통해 여러 제공자에 연결하므로 OpenAI, Anthropic, OpenRouter 등의 엔드포인트에서 제공하는 모델을 동일한 게임 규칙과 프롬프트로 비교할 수 있습니다.

llm-bulls-and-cows-benchmark은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

llm-bulls-and-cows-benchmark은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

llm-bulls-and-cows-benchmark은(는) 아직 유지보수되고 있나요?

6개월 이상 커밋 없음. llm-bulls-and-cows-benchmark의 마지막 커밋은 2025년 1월 31일입니다.

llm-bulls-and-cows-benchmark은(는) 어디에 사용할 수 있나요?

간단하고 재현 가능한 퍼즐로 여러 LLM의 추론 능력을 비교합니다 모델이 엄격한 출력 형식 지침을 따르는지 테스트합니다 자신의 API 키를 사용해 공개된 LLM 벤치마크 결과를 재현하거나 확장합니다

llm-bulls-and-cows-benchmark는 어떻게 설치하나요?

종속성을 설치하고 pre-commit 훅을 설정합니다: pip install -r requirements.txt pre-commit install LLM 제공업체의 API 키를 환경 변수로 설정합니다 원하는 모델과 게임 설정에 맞게 config 파일을 조정합니다 벤치마크를 실행하고 결과를 시각화합니다: python run_benchmark.py python scripts/visualize_results.py

llm-bulls-and-cows-benchmark은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/stalkermustang/llm-bulls-and-cows-benchmark