Repolode
제출하기
EricLBuehler

EricLBuehler/candle-vllm

OpenAI 호환 API 서버와 내장 Web UI를 제공하는 Rust 기반 로컬 LLM 실행·서빙 플랫폼입니다.

GitHub에서 보기
스타
740
포크
91
열린 이슈
31
마지막 커밋
20일 전

어떤 프로젝트인가요?

Candle-vLLM은 Candle 프레임워크를 기반으로 Rust로 작성된 로컬 대규모 언어 모델 추론 및 서빙 플랫폼입니다. OpenAI 호환 API 서버를 제공하므로 OpenAI 프로토콜을 사용하는 기존 클라이언트에서 로컬로 호스팅한 모델을 그대로 사용할 수 있습니다. 선택적으로 ChatGPT 스타일의 Web UI를 API와 함께 실행할 수도 있습니다.

연속 배칭, PagedAttention 방식의 KV 캐시 관리, 프리픽스 캐싱, CUDA Graphs, 청크 단위 프리필 등의 기능으로 효율적인 서빙을 지원합니다. Linux의 CUDA와 macOS의 Metal을 지원하며, HuggingFace ID, 로컬 safetensors 디렉터리 또는 GGUF 파일에서 모델을 불러올 수 있습니다. 인시투 양자화와 GPTQ, AWQ, Marlin, FP8, MXFP4/NVFP4 형식도 지원합니다. 또한 멀티 GPU 텐서 병렬 처리와 TCP 기반 멀티 노드 추론, MCP 및 OpenAI 스타일 도구 호출도 지원합니다.

핵심 기능

  • 01스트리밍 응답을 지원하는 OpenAI 호환 API 서버
  • 02연속 배칭, 프리픽스 캐싱 및 CUDA Graph 지원
  • 03더 긴 컨텍스트를 위한 TurboQuant 및 FP8 KV 캐시 옵션
  • 04멀티 GPU 텐서 병렬 처리 및 TCP 기반 멀티 노드 추론
  • 05GGUF, safetensors, GPTQ, AWQ, Marlin 및 FP8/FP4 모델 형식 지원
  • 06내장 ChatGPT 스타일 Web UI 및 MCP 도구 호출

활용 사례

  • 자체 GPU 서버에서 오픈 웨이트 LLM을 OpenAI 호환 엔드포인트로 서빙
  • Metal 가속을 사용해 Apple Silicon Mac에서 양자화된 GGUF 모델 실행
  • 대형 모델을 여러 GPU 또는 여러 머신에 분산
  • 코딩 에이전트나 기타 OpenAI API 클라이언트를 자체 호스팅 모델에 연결

빠른 시작

  1. 1

    한 줄 설치 스크립트로 설치(DEB 또는 바이너리)

  2. 2

    또는 cargo로 소스에서 빌드(CUDA 빌드 예시)

    cargo install --features cuda,nccl,flashinfer,cutlass --path .
  3. 3

    내장 Web UI에서 HuggingFace 모델 실행

    candle-vllm --m Qwen/Qwen3.6-27B-FP8 --ui-server

사용 전 알아둘 점

  • CUDA(Linux)와 Metal(macOS)만 지원합니다.
  • 멀티 GPU 실행 시 GPU 수는 2의 거듭제곱이어야 합니다.
  • FP8 모델과 일부 커널 등의 기능은 특정 NVIDIA GPU 아키텍처(SM70+ 또는 SM90+)에 따라 달라집니다.

포함된 컬렉션

로컬에서 LLM 실행하기

토픽

#llm-inference#rust#openai-compatible#local-llm#cuda#metal#quantization#model-serving

자주 묻는 질문

candle-vllm은(는) 무엇인가요?
OpenAI 호환 API 서버와 내장 Web UI를 제공하는 Rust 기반 로컬 LLM 실행·서빙 플랫폼입니다. Candle-vLLM은 Candle 프레임워크를 기반으로 Rust로 작성된 로컬 대규모 언어 모델 추론 및 서빙 플랫폼입니다. OpenAI 호환 API 서버를 제공하므로 OpenAI 프로토콜을 사용하는 기존 클라이언트에서 로컬로 호스팅한 모델을 그대로 사용할 수 있습니다. 선택적으로 ChatGPT 스타일의 Web UI를 API와 함께 실행할 수도 있습니다.
candle-vllm은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
candle-vllm은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
candle-vllm은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. candle-vllm의 마지막 커밋은 2026년 10월 18일입니다.
candle-vllm은(는) 어디에 사용할 수 있나요?
자체 GPU 서버에서 오픈 웨이트 LLM을 OpenAI 호환 엔드포인트로 서빙 Metal 가속을 사용해 Apple Silicon Mac에서 양자화된 GGUF 모델 실행 대형 모델을 여러 GPU 또는 여러 머신에 분산 코딩 에이전트나 기타 OpenAI API 클라이언트를 자체 호스팅 모델에 연결
candle-vllm는 어떻게 설치하나요?
한 줄 설치 스크립트로 설치(DEB 또는 바이너리) 또는 cargo로 소스에서 빌드(CUDA 빌드 예시): cargo install --features cuda,nccl,flashinfer,cutlass --path . 내장 Web UI에서 HuggingFace 모델 실행: candle-vllm --m Qwen/Qwen3.6-27B-FP8 --ui-server
candle-vllm은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/EricLBuehler/candle-vllm

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트