snowflakedb/ArcticInference

Что это?

Ключевые возможности

• 01Shift Parallelism и sequence parallelism Ulysses для обслуживания LLM
• 02Speculative decoding с помощью Arctic Speculator и Suffix Decoding
• 03Оптимизация моделей на уровне модели с помощью SwiftKV
• 04Оптимизированный инференс эмбеддингов на vLLM
• 05Работа с существующими API и CLI vLLM; включение через переменную окружения

Сценарии использования

• Обслуживание больших LLM на vLLM с меньшей задержкой и большей пропускной способностью
• Запуск высоконагруженных конвейеров генерации эмбеддингов на GPU
• Снижение стоимости инференса для задач с длинным контекстом или интенсивными рассуждениями

Быстрый старт

1. 1

   Установите пакет с дополнительными компонентами для vLLM

   pip install arctic-inference[vllm]
2. 2

   Запустите модель с включённым Arctic Inference

   ARCTIC_INFERENCE_ENABLED=1 vllm serve Snowflake/Llama-3.1-SwiftKV-8B-Instruct --quantization "fp8" --tensor-parallel-size 1 --ulysses-sequence-parallel-size 2 --enable-shift-parallel --speculative-config '{"method": "arctic", "model":"Snowflake/Arctic-LSTM-Speculator-Llama-3.1-8B-Instruct", "num_speculative_tokens": 3, "enable_suffix_decoding": true, "disable_by_batch_size": 64}'

Что важно знать

• !Оптимизировано для vLLM и требует среды для запуска на GPU с установленным vLLM.
• !Параметры спекулятивного декодирования и Shift Parallelism настроены для определённых моделей Snowflake и требуют конфигурации.

В подборках

Темы

Частые вопросы

Что такое ArcticInference?

Плагин для vLLM с оптимизациями инференса Snowflake — Shift Parallelism, speculative decoding и SwiftKV — для более быстрой и дешёвой работы с LLM и эмбеддингами. Arctic Inference — open-source плагин для популярного движка обслуживания LLM vLLM. После установки он модифицирует vLLM, позволяя использовать оптимизации Arctic через существующие API и CLI-команды vLLM без изменений в коде приложений. Оптимизации охватывают параллелизм (sequence parallelism Arctic Ulysses и Shift Parallelism), speculative decoding (Arctic Speculator и Suffix Decoding), методы на уровне модели, такие как SwiftKV, а также специализированные решения для эмбеддингов и задач на рассуждение.

ArcticInference можно использовать бесплатно? Какая у него лицензия?

ArcticInference распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

ArcticInference всё ещё поддерживается?

Обновлялся за последние 6 месяцев. Последний коммит в ArcticInference — 23 сент. 2026 г..

Для чего можно использовать ArcticInference?

Обслуживание больших LLM на vLLM с меньшей задержкой и большей пропускной способностью Запуск высоконагруженных конвейеров генерации эмбеддингов на GPU Снижение стоимости инференса для задач с длинным контекстом или интенсивными рассуждениями

Как установить ArcticInference?

Установите пакет с дополнительными компонентами для vLLM: pip install arctic-inference[vllm] Запустите модель с включённым Arctic Inference: ARCTIC_INFERENCE_ENABLED=1 vllm serve Snowflake/Llama-3.1-SwiftKV-8B-Instruct --quantization "fp8" --tensor-parallel-size 1 --ulysses-sequence-parallel-size 2 --enable-shift-parallel --speculative-config '{"method": "arctic", "model":"Snowflake/Arctic-LSTM-Speculator-Llama-3.1-8B-Instruct", "num_speculative_tokens": 3, "enable_suffix_decoding": true, "disable_by_batch_size": 64}'

Где скачать ArcticInference?

Исходный код и инструкции по установке — на GitHub: https://github.com/snowflakedb/ArcticInference