서빙 엔진 간에 LLM 어텐션 캐시를 저장하고 공유·재사용해 첫 토큰 생성 시간(TTFT)을 줄이는 KV 캐시 관리 계층입니다.
1.2만2.2천PythonApache-2.0업데이트 6시간 전
#amd
“amd” 관련 오픈소스 프로젝트
amd 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
저장소 2개
OpenAI 호환 API로 대규모 언어 모델을 빠르고 메모리 효율적으로 실행하고 서빙하는 라이브러리 및 서버입니다.
9.4만2.4만PythonApache-2.0업데이트 7시간 전