SGLang, vLLM, TokenSpeed에서 LLM 서빙 속도를 높이는 speculative decoding 하네스 EAGLE-4의 추론 코드입니다.
2296PythonOther업데이트 14시간 전
#tokenspeed
“tokenspeed” 관련 오픈소스 프로젝트
tokenspeed 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
#tokenspeed
tokenspeed 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
SGLang, vLLM, TokenSpeed에서 LLM 서빙 속도를 높이는 speculative decoding 하네스 EAGLE-4의 추론 코드입니다.