eagle-hq / EAGLE-4GitHubSGLang、vLLM、TokenSpeedでのLLMサービングを高速化する、投機的デコード用ハーネスEAGLE-4の推論コード。AI・機械学習#llm-inference#speculative-decoding#gpu#sglang#vllm2296PythonOther更新 14 時間前