Código de inferência do EAGLE-4, um sistema de decodificação especulativa que acelera o serving de LLMs no SGLang, vLLM e TokenSpeed.
2296PythonOtherAtualizado há 10 horas
#eagle
Repositórios do GitHub selecionados relacionados a eagle, com resumos de IA e métricas principais.
Código de inferência do EAGLE-4, um sistema de decodificação especulativa que acelera o serving de LLMs no SGLang, vLLM e TokenSpeed.