Código de inferência do EAGLE-4, um sistema de decodificação especulativa que acelera o serving de LLMs no SGLang, vLLM e TokenSpeed.
2296PythonOtherAtualizado há 15 horas
#tokenspeed
Projetos open source sobre “tokenspeed”
Repositórios do GitHub selecionados relacionados a tokenspeed, com resumos de IA e métricas principais.
Ordenar:Adicionados recentemente
1 repositório