투기적 디코딩·프리필과 커스텀 커널을 활용해 일반 소비자용 GPU와 AMD/NVIDIA 혼합 시스템에서 구동하는 C++ LLM 추론 서버입니다.
3천+3 이번 주286C++Apache-2.0업데이트 18시간 전
#dflash
“dflash” 관련 오픈소스 프로젝트
dflash 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
#dflash
dflash 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
투기적 디코딩·프리필과 커스텀 커널을 활용해 일반 소비자용 GPU와 AMD/NVIDIA 혼합 시스템에서 구동하는 C++ LLM 추론 서버입니다.