Библиотека Python для обучения черновых моделей спекулятивного декодирования, которые можно напрямую запускать в движке инференса vLLM.
920+2 за неделю271PythonApache-2.0Обновлён вчера
#draft-model
Отобранные репозитории GitHub по теме draft-model с описаниями от ИИ и ключевыми метриками.
Библиотека Python для обучения черновых моделей спекулятивного декодирования, которые можно напрямую запускать в движке инференса vLLM.