USB-C로 iPhone과 Mac을 연결해 휴대폰 GPU로 로컬 Qwen 27B 추론의 프롬프트 처리와 컨텍스트 길이를 개선합니다.
1.1천118PythonMIT업데이트 6일 전
#speculative-decoding
“speculative-decoding” 관련 오픈소스 프로젝트
speculative-decoding 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
저장소 2개필터 초기화
하드웨어에 맞게 커널을 튜닝해 Apple Silicon, NVIDIA, AMD 또는 CPU에서 오픈 모델을 더 빠르게 실행하는 오픈소스 추론 엔진입니다.
7.2천494RustApache-2.0업데이트 19시간 전