Код для инференса EAGLE-4 — инструментария спекулятивного декодирования, ускоряющего обслуживание LLM на SGLang, vLLM и TokenSpeed.
2296PythonOtherОбновлён 12 часов назад
#tokenspeed
Open source проекты по теме «tokenspeed»
Отобранные репозитории GitHub по теме tokenspeed с описаниями от ИИ и ключевыми метриками.
Сортировка:Недавно добавленные
1 репозиторий