snowflakedb/ArcticInference

O que é?

Recursos principais

• 01Shift Parallelism e parallelism de sequência Ulysses para servir LLMs
• 02Speculative decoding com Arctic Speculator e Suffix Decoding
• 03Otimização SwiftKV no nível do modelo
• 04Inferência de embeddings otimizada no vLLM
• 05Compatível com as APIs e o CLI existentes do vLLM, habilitado por uma variável de ambiente

Casos de uso

• Servir LLMs grandes no vLLM com menor latência e maior throughput
• Executar pipelines de geração de embeddings em grande escala em GPUs
• Reduzir o custo de inferência em cargas de trabalho com contexto longo ou intensivas em raciocínio

Início rápido

1. 1

   Instale o pacote com os extras do vLLM

   pip install arctic-inference[vllm]
2. 2

   Sirva um modelo com o Arctic Inference ativado

   ARCTIC_INFERENCE_ENABLED=1 vllm serve Snowflake/Llama-3.1-SwiftKV-8B-Instruct --quantization "fp8" --tensor-parallel-size 1 --ulysses-sequence-parallel-size 2 --enable-shift-parallel --speculative-config '{"method": "arctic", "model":"Snowflake/Arctic-LSTM-Speculator-Llama-3.1-8B-Instruct", "num_speculative_tokens": 3, "enable_suffix_decoding": true, "disable_by_batch_size": 64}'

Antes de usar

• !É otimizado para vLLM e requer um ambiente de serving baseado em GPU com o vLLM instalado.
• !As configurações de decodificação especulativa e Shift Parallelism são ajustadas para modelos específicos da Snowflake e precisam ser configuradas.

Em coleções

Tópicos

Perguntas frequentes

O que é ArcticInference?

Plugin para vLLM que adiciona as otimizações de inferência da Snowflake — Shift Parallelism, speculative decoding e SwiftKV — para servir LLMs e gerar embeddings com mais rapidez e menor custo. O Arctic Inference é um plugin de código aberto para o vLLM, um popular mecanismo para servir LLMs. Depois de instalado, ele aplica patches ao vLLM para que as APIs e os comandos CLI existentes possam usar as otimizações do Arctic sem alterar o código da aplicação. As otimizações incluem paralelismo (parallelism de sequência Arctic Ulysses e Shift Parallelism), speculative decoding (Arctic Speculator e Suffix Decoding), técnicas no nível do modelo, como SwiftKV, e caminhos específicos para cargas de trabalho de embeddings e raciocínio.

ArcticInference é gratuito? Qual é a licença?

ArcticInference é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.

ArcticInference ainda é mantido?

Atualizado nos últimos 6 meses. O último commit de ArcticInference foi em 23 de set. de 2026.

Para que posso usar ArcticInference?

Servir LLMs grandes no vLLM com menor latência e maior throughput Executar pipelines de geração de embeddings em grande escala em GPUs Reduzir o custo de inferência em cargas de trabalho com contexto longo ou intensivas em raciocínio

Como instalar ArcticInference?

Instale o pacote com os extras do vLLM: pip install arctic-inference[vllm] Sirva um modelo com o Arctic Inference ativado: ARCTIC_INFERENCE_ENABLED=1 vllm serve Snowflake/Llama-3.1-SwiftKV-8B-Instruct --quantization "fp8" --tensor-parallel-size 1 --ulysses-sequence-parallel-size 2 --enable-shift-parallel --speculative-config '{"method": "arctic", "model":"Snowflake/Arctic-LSTM-Speculator-Llama-3.1-8B-Instruct", "num_speculative_tokens": 3, "enable_suffix_decoding": true, "disable_by_batch_size": 64}'

Onde consigo ArcticInference?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/snowflakedb/ArcticInference