snowflakedb/ArcticInference

これは何？

主な機能

• 01LLMサービング向けのShift ParallelismとUlysses sequence parallelism
• 02Arctic SpeculatorとSuffix Decodingによるspeculative decoding
• 03モデルレベルの最適化SwiftKV
• 04vLLMでのembedding推論を最適化
• 05環境変数で有効化でき、既存のvLLM APIやCLIで利用可能

ユースケース

• vLLMで大規模LLMをサービングし、レイテンシを短縮してスループットを向上
• GPUで大規模なembedding生成パイプラインを実行
• 長いコンテキストや推論負荷の高いワークロードで推論コストを削減

クイックスタート

1. 1

   vLLM extras を指定してパッケージをインストールします

   pip install arctic-inference[vllm]
2. 2

   Arctic Inference を有効にしてモデルをサービングします

   ARCTIC_INFERENCE_ENABLED=1 vllm serve Snowflake/Llama-3.1-SwiftKV-8B-Instruct --quantization "fp8" --tensor-parallel-size 1 --ulysses-sequence-parallel-size 2 --enable-shift-parallel --speculative-config '{"method": "arctic", "model":"Snowflake/Arctic-LSTM-Speculator-Llama-3.1-8B-Instruct", "num_speculative_tokens": 3, "enable_suffix_decoding": true, "disable_by_batch_size": 64}'

使う前に知っておきたいこと

• !vLLM 向けに最適化されており、vLLM をインストールした GPU ベースのサービング環境が必要です。
• !Speculative decoding と Shift Parallelism の設定は特定の Snowflake モデル向けに調整されており、設定が必要です。

収録されている特集

トピック

よくある質問

ArcticInference とは？

vLLMにSnowflakeの推論最適化（Shift Parallelism、speculative decoding、SwiftKV）を追加し、LLMとembeddingのサービングを高速化・低コスト化するプラグイン。 Arctic Inferenceは、人気のLLMサービングエンジンvLLM向けのオープンソースプラグインです。インストールするとvLLMにパッチを適用し、アプリケーションコードを変更せずに、既存のvLLM APIやCLIコマンドからArcticの最適化を利用できます。最適化には、並列化（Arctic Ulyssesのsequence parallelismとShift Parallelism）、speculative decoding（Arctic SpeculatorとSuffix Decoding）、SwiftKVなどのモデルレベルの手法に加え、embeddingや推論向けに特化した処理経路が含まれます。

ArcticInference は無料で使えますか？ライセンスは？

ArcticInference は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

ArcticInference は今もメンテナンスされていますか？

半年以内に更新あり。ArcticInference の最終コミットは 2026年9月23日 です。

ArcticInference は何に使えますか？

vLLMで大規模LLMをサービングし、レイテンシを短縮してスループットを向上 GPUで大規模なembedding生成パイプラインを実行 長いコンテキストや推論負荷の高いワークロードで推論コストを削減

ArcticInference のインストール方法は？

vLLM extras を指定してパッケージをインストールします: pip install arctic-inference[vllm] Arctic Inference を有効にしてモデルをサービングします: ARCTIC_INFERENCE_ENABLED=1 vllm serve Snowflake/Llama-3.1-SwiftKV-8B-Instruct --quantization "fp8" --tensor-parallel-size 1 --ulysses-sequence-parallel-size 2 --enable-shift-parallel --speculative-config '{"method": "arctic", "model":"Snowflake/Arctic-LSTM-Speculator-Llama-3.1-8B-Instruct", "num_speculative_tokens": 3, "enable_suffix_decoding": true, "disable_by_batch_size": 64}'

ArcticInference はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/snowflakedb/ArcticInference