Repolode
제출하기
runpod-workers

runpod-workers/worker-vllm

vLLM 추론 엔진을 기반으로 OpenAI 호환 LLM 엔드포인트를 배포하는 Runpod Serverless 워커 템플릿입니다.

GitHub에서 보기
스타
474
포크
394
열린 이슈
25
마지막 커밋
그저께

어떤 프로젝트인가요?

worker-vllm은 vLLM 추론 엔진으로 대규모 언어 모델을 실행하는 Docker 기반 Runpod Serverless 워커입니다. Hugging Face 모델 저장소나 이미지에 미리 포함된 로컬 모델을 지정하고, 환경 변수로 설정하면 스트리밍 및 비스트리밍을 지원하는 OpenAI 호환 Chat Completions, Models, Responses, Messages 경로를 제공합니다.

이 워커는 MAX_MODEL_LEN, QUANTIZATION, TENSOR_PARALLEL_SIZE 같은 환경 변수를 vllm serve 플래그로 변환하며 YAML 설정 파일도 사용할 수 있습니다. prompt 또는 messages 입력과 샘플링 매개변수를 포함하는 네이티브 작업 형식으로도 요청을 보낼 수 있습니다. GPU 메모리 부족이나 HF_TOKEN 누락 등으로 모델을 시작할 수 없는 경우에도 워커는 계속 실행되며, 작업 응답에 시작 오류의 원인을 반환합니다.

프로젝트는 사전 빌드된 이미지, 모델을 이미지에 포함할 수 있는 Dockerfile 옵션, Runpod 콘솔을 통한 배포 문서를 제공합니다. 또한 별도의 로드 밸런싱 구성을 사용할 때는 이 워커 없이 공식 vLLM 이미지를 바로 사용할 수 있다고 안내합니다.

핵심 기능

  • 01스트리밍을 지원하는 OpenAI 호환 Chat Completions, Models, Responses, Messages 경로를 제공합니다.
  • 02환경 변수를 vllm serve 플래그에 매핑하고 YAML 설정 파일을 지원합니다.
  • 03Hugging Face 저장소의 모델이나 이미지에 포함된 로컬 경로의 모델을 불러옵니다.
  • 04AWQ, GPTQ, bitsandbytes 등의 양자화 옵션과 멀티 GPU 텐서 병렬 처리를 지원합니다.
  • 05GPU 메모리 부족과 같은 시작 실패를 크래시 루프 대신 작업 응답에 읽기 쉬운 오류로 표시합니다.

활용 사례

  • Runpod GPU에서 오픈 웨이트 LLM을 OpenAI 호환 API로 호스팅합니다.
  • 기존 OpenAI SDK 애플리케이션의 base URL과 API key를 변경해 자체 호스팅 모델로 전환합니다.
  • 유휴 상태일 때 0개까지 축소되는 서버리스 GPU에서 요청량이 급증하는 추론 작업을 실행합니다.

빠른 시작

  1. 1

    배포 가이드에 따라 Runpod Console에서 미리 빌드된 Docker 이미지를 배포합니다

  2. 2

    환경 변수의 MODEL_NAME에 Hugging Face 저장소 ID 또는 로컬 모델 경로를 설정합니다

  3. 3

    모델이 포함된 사용자 지정 이미지를 빌드합니다(선택 사항)

    docker build -t username/image:tag --build-arg MODEL_NAME="openchat/openchat_3.5" --build-arg BASE_PATH="/models" .

사용 전 알아둘 점

  • 모델을 실행하려면 Runpod Serverless 계정과 GPU 리소스가 필요합니다.
  • 게이트가 적용된 모델이나 비공개 모델에는 Hugging Face 토큰(HF_TOKEN)이 필요합니다.
  • 지원되는 모델은 vLLM이 지원하는 모델로 제한됩니다.

포함된 컬렉션

GPU로 AI를 학습하고 실행하는 도구

토픽

#llm#vllm#inference#serverless#openai-compatible#gpu#runpod#language-model

자주 묻는 질문

worker-vllm은(는) 무엇인가요?
vLLM 추론 엔진을 기반으로 OpenAI 호환 LLM 엔드포인트를 배포하는 Runpod Serverless 워커 템플릿입니다. worker-vllm은 vLLM 추론 엔진으로 대규모 언어 모델을 실행하는 Docker 기반 Runpod Serverless 워커입니다. Hugging Face 모델 저장소나 이미지에 미리 포함된 로컬 모델을 지정하고, 환경 변수로 설정하면 스트리밍 및 비스트리밍을 지원하는 OpenAI 호환 Chat Completions, Models, Responses, Messages 경로를 제공합니다.
worker-vllm은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
worker-vllm은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
worker-vllm은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. worker-vllm의 마지막 커밋은 2026년 11월 5일입니다.
worker-vllm은(는) 어디에 사용할 수 있나요?
Runpod GPU에서 오픈 웨이트 LLM을 OpenAI 호환 API로 호스팅합니다. 기존 OpenAI SDK 애플리케이션의 base URL과 API key를 변경해 자체 호스팅 모델로 전환합니다. 유휴 상태일 때 0개까지 축소되는 서버리스 GPU에서 요청량이 급증하는 추론 작업을 실행합니다.
worker-vllm는 어떻게 설치하나요?
배포 가이드에 따라 Runpod Console에서 미리 빌드된 Docker 이미지를 배포합니다 환경 변수의 MODEL_NAME에 Hugging Face 저장소 ID 또는 로컬 모델 경로를 설정합니다 모델이 포함된 사용자 지정 이미지를 빌드합니다(선택 사항): docker build -t username/image:tag --build-arg MODEL_NAME="openchat/openchat_3.5" --build-arg BASE_PATH="/models" .
worker-vllm은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/runpod-workers/worker-vllm

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트