snowflakedb/ArcticInference

어떤 프로젝트인가요?

핵심 기능

• 01LLM 서빙을 위한 Shift Parallelism 및 Ulysses sequence parallelism
• 02Arctic Speculator 및 Suffix Decoding을 통한 speculative decoding
• 03SwiftKV 모델 수준 최적화
• 04vLLM에서 최적화된 임베딩 추론
• 05기존 vLLM API 및 CLI와 호환되며 환경 변수로 활성화

활용 사례

• vLLM으로 대규모 LLM을 서빙하면서 지연 시간을 줄이고 처리량을 높이는 경우
• GPU에서 대용량 임베딩 생성 파이프라인을 실행하는 경우
• 긴 컨텍스트 또는 추론 작업이 많은 워크로드의 추론 비용을 줄이는 경우

빠른 시작

1. 1

   vLLM extras를 포함해 패키지를 설치합니다

   pip install arctic-inference[vllm]
2. 2

   Arctic Inference를 활성화하여 모델을 서빙합니다

   ARCTIC_INFERENCE_ENABLED=1 vllm serve Snowflake/Llama-3.1-SwiftKV-8B-Instruct --quantization "fp8" --tensor-parallel-size 1 --ulysses-sequence-parallel-size 2 --enable-shift-parallel --speculative-config '{"method": "arctic", "model":"Snowflake/Arctic-LSTM-Speculator-Llama-3.1-8B-Instruct", "num_speculative_tokens": 3, "enable_suffix_decoding": true, "disable_by_batch_size": 64}'

사용 전 알아둘 점

• !vLLM에 최적화되어 있으며, vLLM이 설치된 GPU 기반 서빙 환경이 필요합니다.
• !Speculative decoding 및 Shift Parallelism 설정은 특정 Snowflake 모델에 맞춰 조정되어 있어 별도의 구성이 필요합니다.

포함된 컬렉션

토픽

자주 묻는 질문

ArcticInference은(는) 무엇인가요?

LLM 및 임베딩 서빙을 더 빠르고 저렴하게 제공하도록 Snowflake의 추론 최적화(Shift Parallelism, speculative decoding, SwiftKV)를 추가하는 vLLM 플러그인입니다. Arctic Inference는 널리 사용되는 LLM 서빙 엔진인 vLLM용 오픈소스 플러그인입니다. 설치하면 vLLM을 패치해 애플리케이션 코드를 변경하지 않고도 기존 vLLM API와 CLI 명령에서 Arctic의 최적화를 사용할 수 있습니다. 최적화에는 병렬 처리(Arctic Ulysses sequence parallelism 및 Shift Parallelism), speculative decoding(Arctic Speculator 및 Suffix Decoding), SwiftKV 같은 모델 수준 기법, 임베딩 및 추론 작업에 특화된 경로가 포함됩니다.

ArcticInference은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

ArcticInference은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

ArcticInference은(는) 아직 유지보수되고 있나요?

6개월 이내 업데이트. ArcticInference의 마지막 커밋은 2026년 9월 23일입니다.

ArcticInference은(는) 어디에 사용할 수 있나요?

vLLM으로 대규모 LLM을 서빙하면서 지연 시간을 줄이고 처리량을 높이는 경우 GPU에서 대용량 임베딩 생성 파이프라인을 실행하는 경우 긴 컨텍스트 또는 추론 작업이 많은 워크로드의 추론 비용을 줄이는 경우

ArcticInference는 어떻게 설치하나요?

vLLM extras를 포함해 패키지를 설치합니다: pip install arctic-inference[vllm] Arctic Inference를 활성화하여 모델을 서빙합니다: ARCTIC_INFERENCE_ENABLED=1 vllm serve Snowflake/Llama-3.1-SwiftKV-8B-Instruct --quantization "fp8" --tensor-parallel-size 1 --ulysses-sequence-parallel-size 2 --enable-shift-parallel --speculative-config '{"method": "arctic", "model":"Snowflake/Arctic-LSTM-Speculator-Llama-3.1-8B-Instruct", "num_speculative_tokens": 3, "enable_suffix_decoding": true, "disable_by_batch_size": 64}'

ArcticInference은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/snowflakedb/ArcticInference