snowflakedb/ArcticInference

¿Qué es?

Funciones clave

• 01Shift Parallelism y paralelismo de secuencias Ulysses para servir LLM
• 02Speculative decoding mediante Arctic Speculator y Suffix Decoding
• 03Optimización de modelos mediante SwiftKV
• 04Inferencia de embeddings optimizada en vLLM
• 05Funciona con las API y la CLI existentes de vLLM y se habilita mediante una variable de entorno

Casos de uso

• Servir LLM grandes con vLLM, con menor latencia y mayor rendimiento
• Ejecutar pipelines de generación de embeddings de gran volumen en GPU
• Reducir el costo de inferencia en cargas de trabajo con contextos largos o mucho razonamiento

Inicio rápido

1. 1

   Instala el paquete con las dependencias adicionales de vLLM

   pip install arctic-inference[vllm]
2. 2

   Sirve un modelo con Arctic Inference habilitado

   ARCTIC_INFERENCE_ENABLED=1 vllm serve Snowflake/Llama-3.1-SwiftKV-8B-Instruct --quantization "fp8" --tensor-parallel-size 1 --ulysses-sequence-parallel-size 2 --enable-shift-parallel --speculative-config '{"method": "arctic", "model":"Snowflake/Arctic-LSTM-Speculator-Llama-3.1-8B-Instruct", "num_speculative_tokens": 3, "enable_suffix_decoding": true, "disable_by_batch_size": 64}'

Antes de usarlo

• !Está optimizado para vLLM y requiere un entorno de serving basado en GPU con vLLM instalado.
• !La decodificación especulativa y la configuración de Shift Parallelism están ajustadas para modelos específicos de Snowflake y requieren configuración.

En colecciones

Temas

Preguntas frecuentes

¿Qué es ArcticInference?

Plugin para vLLM que incorpora optimizaciones de inferencia de Snowflake (Shift Parallelism, speculative decoding y SwiftKV) para servir LLM y embeddings de forma más rápida y económica. Arctic Inference es un plugin de código abierto para vLLM, el popular motor para servir LLM. Una vez instalado, modifica vLLM para que las API y los comandos de CLI existentes puedan usar las optimizaciones de Arctic sin cambiar el código de la aplicación. Estas optimizaciones abarcan el paralelismo (paralelismo de secuencias Arctic Ulysses y Shift Parallelism), el speculative decoding (Arctic Speculator y Suffix Decoding), técnicas a nivel de modelo como SwiftKV y rutas específicas para embeddings y tareas de razonamiento.

¿ArcticInference es gratuito? ¿Qué licencia tiene?

ArcticInference es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.

¿ArcticInference sigue mantenido?

Actualizado en los últimos 6 meses. El último commit de ArcticInference fue el 23 sept 2026.

¿Para qué puedo usar ArcticInference?

Servir LLM grandes con vLLM, con menor latencia y mayor rendimiento Ejecutar pipelines de generación de embeddings de gran volumen en GPU Reducir el costo de inferencia en cargas de trabajo con contextos largos o mucho razonamiento

¿Cómo se instala ArcticInference?

Instala el paquete con las dependencias adicionales de vLLM: pip install arctic-inference[vllm] Sirve un modelo con Arctic Inference habilitado: ARCTIC_INFERENCE_ENABLED=1 vllm serve Snowflake/Llama-3.1-SwiftKV-8B-Instruct --quantization "fp8" --tensor-parallel-size 1 --ulysses-sequence-parallel-size 2 --enable-shift-parallel --speculative-config '{"method": "arctic", "model":"Snowflake/Arctic-LSTM-Speculator-Llama-3.1-8B-Instruct", "num_speculative_tokens": 3, "enable_suffix_decoding": true, "disable_by_batch_size": 64}'

¿Dónde consigo ArcticInference?

El código fuente y las instrucciones de instalación están en GitHub: https://github.com/snowflakedb/ArcticInference