snowflakedb/ArcticInference

这是什么？

核心功能

• 01提供 Shift Parallelism 与 Ulysses 序列并行，用于 LLM 服务
• 02通过 Arctic Speculator 和 Suffix Decoding 实现投机解码
• 03支持 SwiftKV 模型层优化
• 04针对 vLLM 优化的嵌入模型推理
• 05兼容现有 vLLM API 与命令行，通过环境变量启用

适用场景

• 在 vLLM 上服务大模型，同时降低延迟、提高吞吐
• 在 GPU 上运行大批量嵌入向量生成任务
• 为长上下文或推理密集型负载降低推理成本

快速上手

1. 1

   安装带 vLLM 额外依赖的包

   pip install arctic-inference[vllm]
2. 2

   启用 Arctic Inference 启动模型服务

   ARCTIC_INFERENCE_ENABLED=1 vllm serve Snowflake/Llama-3.1-SwiftKV-8B-Instruct --quantization "fp8" --tensor-parallel-size 1 --ulysses-sequence-parallel-size 2 --enable-shift-parallel --speculative-config '{"method": "arctic", "model":"Snowflake/Arctic-LSTM-Speculator-Llama-3.1-8B-Instruct", "num_speculative_tokens": 3, "enable_suffix_decoding": true, "disable_by_batch_size": 64}'

使用前须知

• !针对 vLLM 优化，需要配备 vLLM 的基于 GPU 的推理环境。
• !推测解码和 Shift Parallelism 的设置针对特定 Snowflake 模型调优，需要自行配置。

收录于专题

标签

常见问题

ArcticInference 是什么？

vLLM 插件，集成 Snowflake 的推理优化（Shift Parallelism、投机解码、SwiftKV），用于加速并降低 LLM 与嵌入模型的服务成本。 Arctic Inference 是面向 vLLM（主流 LLM 推理引擎）的开源插件。安装后会自动接管 vLLM，使现有的 vLLM API 和命令行工具无需修改代码即可使用其优化，包括 Arctic Ulysses 序列并行、Shift Parallelism、Arctic Speculator 与 Suffix Decoding 等投机解码方案、SwiftKV 等模型层优化，以及面向嵌入模型和推理类任务的专门路径。

ArcticInference 可以免费使用吗？用的什么许可证？

ArcticInference 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

ArcticInference 还在维护吗？

半年内有更新。ArcticInference 最近一次提交是在 2026年9月23日。

ArcticInference 适合用来做什么？

在 vLLM 上服务大模型，同时降低延迟、提高吞吐 在 GPU 上运行大批量嵌入向量生成任务 为长上下文或推理密集型负载降低推理成本

ArcticInference 怎么安装和运行？

安装带 vLLM 额外依赖的包: pip install arctic-inference[vllm] 启用 Arctic Inference 启动模型服务: ARCTIC_INFERENCE_ENABLED=1 vllm serve Snowflake/Llama-3.1-SwiftKV-8B-Instruct --quantization "fp8" --tensor-parallel-size 1 --ulysses-sequence-parallel-size 2 --enable-shift-parallel --speculative-config '{"method": "arctic", "model":"Snowflake/Arctic-LSTM-Speculator-Llama-3.1-8B-Instruct", "num_speculative_tokens": 3, "enable_suffix_decoding": true, "disable_by_batch_size": 64}'

在哪里获取 ArcticInference？

源代码和安装说明在 GitHub 上：https://github.com/snowflakedb/ArcticInference