12 GB 및 8 GB NVIDIA GPU에서 262k 컨텍스트로 1.58비트 Ternary Bonsai 2 27B 모델을 실행하는 런처와 패치된 llama.cpp 구성입니다.
796PythonOther업데이트 6시간 전
#speculative-decoding
“speculative-decoding” 관련 오픈소스 프로젝트
speculative-decoding 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
#speculative-decoding
speculative-decoding 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
12 GB 및 8 GB NVIDIA GPU에서 262k 컨텍스트로 1.58비트 Ternary Bonsai 2 27B 모델을 실행하는 런처와 패치된 llama.cpp 구성입니다.