vllm-project/speculators

¿Qué es?

Funciones clave

• 01Genera hidden states con vLLM y los guarda en disco para entrenar modelos draft.
• 02Entrena modelos draft de una o varias capas, incluidos modelos MoE y de visión y lenguaje.
• 03Almacena speculators en un formato extensible compatible con Hugging Face.
• 04Convierte modelos draft de repositorios de investigación externos al formato estándar.
• 05Despliega los speculators entrenados directamente en vLLM con `vllm serve`.
• 06Es compatible con los algoritmos de entrenamiento EAGLE-3, DFlash, DSpark y P-EAGLE.

Casos de uso

• Acelerar el servicio de un LLM grande en vLLM mediante el entrenamiento de un modelo draft compatible.
• Entrenar un modelo draft con datos específicos de un dominio para que se ajuste mejor a una carga de trabajo de producción.
• Ajustar con fine-tuning las cabezas MTP nativas de modelos como Qwen3-Next.
• Evaluar configuraciones de speculative decoding con GuideLLM.

Inicio rápido

1. 1

   Instalar desde PyPI

   pip install speculators
2. 2

   Verificar la instalación

   speculators --version
3. 3

   Servir un modelo speculator entrenado con vLLM

   vllm serve RedHatAI/Qwen3-8B-speculator.eagle3

Antes de usarlo

• !Requiere Linux o macOS con Python 3.11 o superior.
• !Para ejecutar modelos speculator servidos se necesita vLLM, que el README no instala por ti.

En colecciones

Temas

Preguntas frecuentes

¿Qué es speculators?

Biblioteca de Python para entrenar modelos draft de speculative decoding que se despliegan directamente en el motor de inferencia vLLM. Speculators es una biblioteca para entrenar modelos draft de speculative decoding que se ejecutan directamente en motores de inferencia de LLM como vLLM. Speculative decoding acelera la generación: un modelo draft más pequeño propone varios tokens y, en una sola pasada forward, el modelo base de mayor tamaño los verifica. Los tokens aceptados coinciden con los que habría generado el modelo base, por lo que la calidad de la salida no cambia.

¿speculators es gratuito? ¿Qué licencia tiene?

speculators es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.

¿speculators sigue mantenido?

Mantenimiento activo. El último commit de speculators fue el 23 oct 2026.

¿Para qué puedo usar speculators?

Acelerar el servicio de un LLM grande en vLLM mediante el entrenamiento de un modelo draft compatible. Entrenar un modelo draft con datos específicos de un dominio para que se ajuste mejor a una carga de trabajo de producción. Ajustar con fine-tuning las cabezas MTP nativas de modelos como Qwen3-Next. Evaluar configuraciones de speculative decoding con GuideLLM.

¿Cómo se instala speculators?

Instalar desde PyPI: pip install speculators Verificar la instalación: speculators --version Servir un modelo speculator entrenado con vLLM: vllm serve RedHatAI/Qwen3-8B-speculator.eagle3

¿Dónde consigo speculators?

El código fuente y las instrucciones de instalación están en GitHub: https://github.com/vllm-project/speculators