Código de inferencia para EAGLE-4, un sistema de decodificación especulativa que acelera el servicio de LLM en SGLang, vLLM y TokenSpeed.
2296PythonOtherActualizado hace 10 horas
#eagle
Repositorios de GitHub seleccionados relacionados con eagle, con resúmenes de IA y métricas clave.
Código de inferencia para EAGLE-4, un sistema de decodificación especulativa que acelera el servicio de LLM en SGLang, vLLM y TokenSpeed.