vLLM 추론 엔진에 바로 배포할 수 있는 speculative decoding용 draft model을 학습하는 Python 라이브러리입니다.
920+2 이번 주271PythonApache-2.0업데이트 어제
#draft-model
“draft-model” 관련 오픈소스 프로젝트
draft-model 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
#draft-model
draft-model 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
vLLM 추론 엔진에 바로 배포할 수 있는 speculative decoding용 draft model을 학습하는 Python 라이브러리입니다.