Код для инференса EAGLE-4 — инструментария спекулятивного декодирования, ускоряющего обслуживание LLM на SGLang, vLLM и TokenSpeed.
2296PythonOtherОбновлён 13 часов назад
#eagle
Отобранные репозитории GitHub по теме eagle с описаниями от ИИ и ключевыми метриками.
Код для инференса EAGLE-4 — инструментария спекулятивного декодирования, ускоряющего обслуживание LLM на SGLang, vLLM и TokenSpeed.