vllm-project/vllm

어떤 프로젝트인가요?

핵심 기능

• 01효율적인 KV 캐시 메모리 관리를 위한 PagedAttention
• 02연속 배칭, 청크 단위 프리필, prefix caching
• 03FP8, INT4, GPTQ, AWQ, GGUF를 포함한 폭넓은 양자화 지원
• 04구조화된 출력과 도구 호출을 지원하는 OpenAI 호환 API 서버
• 05멀티 GPU 추론을 위한 텐서, 파이프라인, 전문가, 컨텍스트 병렬화
• 06NVIDIA, AMD, Intel GPU 및 CPU와 TPU 등 하드웨어 플러그인 지원

활용 사례

• Llama나 Qwen 같은 오픈 웨이트 LLM을 OpenAI 호환 엔드포인트로 서빙
• 멀티 GPU 서버에서 높은 처리량으로 배치 추론 실행
• DeepSeek-V3나 GPT-OSS 같은 양자화된 MoE 모델 배포
• 하나의 기본 모델에서 여러 LoRA 파인튜닝 모델 서빙

빠른 시작

1. 1

   uv로 vLLM 설치(권장)

   uv pip install vllm
2. 2

   시작 속도를 높이려면 미리 컴파일된 커널 다운로드

   vllm download-kernels

사용 전 알아둘 점

• !최고의 성능을 활용하려면 GPU 또는 지원되는 가속기가 필요합니다.
• !모델 가중치와 종속성이 커서 경량 도구보다 설정 과정이 복잡합니다.

토픽

자주 묻는 질문

vllm은(는) 무엇인가요?

OpenAI 호환 API로 대규모 언어 모델을 빠르고 메모리 효율적으로 실행하고 서빙하는 라이브러리 및 서버입니다. vLLM은 LLM 추론 및 서빙을 위한 라이브러리입니다. PagedAttention으로 어텐션의 키-값 메모리를 관리하고, 들어오는 요청을 지속적으로 배칭해 낮은 비용으로 높은 처리량을 달성하는 것을 목표로 합니다. dense, mixture-of-experts, 멀티모달, 임베딩 모델을 포함해 다양한 Hugging Face 모델 아키텍처를 로드합니다.

vllm은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

vllm은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

vllm은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. vllm의 마지막 커밋은 2026년 10월 20일입니다.

vllm은(는) 어디에 사용할 수 있나요?

Llama나 Qwen 같은 오픈 웨이트 LLM을 OpenAI 호환 엔드포인트로 서빙 멀티 GPU 서버에서 높은 처리량으로 배치 추론 실행 DeepSeek-V3나 GPT-OSS 같은 양자화된 MoE 모델 배포 하나의 기본 모델에서 여러 LoRA 파인튜닝 모델 서빙

vllm는 어떻게 설치하나요?

uv로 vLLM 설치(권장): uv pip install vllm 시작 속도를 높이려면 미리 컴파일된 커널 다운로드: vllm download-kernels

vllm은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/vllm-project/vllm