12 GB 및 8 GB NVIDIA GPU에서 262k 컨텍스트로 1.58비트 Ternary Bonsai 2 27B 모델을 실행하는 런처와 패치된 llama.cpp 구성입니다.
796PythonOther업데이트 4시간 전
#speculative-decoding
“speculative-decoding” 관련 오픈소스 프로젝트
speculative-decoding 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
저장소 3개
USB-C로 iPhone과 Mac을 연결해 휴대폰 GPU로 로컬 Qwen 27B 추론의 프롬프트 처리와 컨텍스트 길이를 개선합니다.
1.1천118PythonMIT업데이트 6일 전
하드웨어에 맞게 커널을 튜닝해 Apple Silicon, NVIDIA, AMD 또는 CPU에서 오픈 모델을 더 빠르게 실행하는 오픈소스 추론 엔진입니다.
7.2천494RustApache-2.0업데이트 18시간 전