“benchmark” 관련 오픈소스 프로젝트

Docker에서 검증한 패치를 생성해 언어 모델이 실제 GitHub 이슈를 해결할 수 있는지 테스트하는 벤치마크 및 평가 도구입니다.

CPU, RAM, GPU를 감지한 뒤 내 시스템에서 실행하기 적합한 오픈 LLM을 순위로 보여주는 Rust CLI 및 TUI입니다.

GPU, CPU, RAM을 감지하고 매개변수 수가 아닌 벤치마크를 기준으로 실제 하드웨어에서 실행 가능한 HuggingFace 로컬 LLM의 순위를 매기는 CLI입니다.

LiteLLM 호환 제공자를 통해 LLM이 Bulls and Cows 게임을 플레이하게 해 성능을 측정하는 Python 프레임워크입니다.