Repolode
제출하기
defilantech

defilantech/LLMKube

하나의 CRD 세트와 OpenAI 호환 엔드포인트로 NVIDIA, AMD, Apple Silicon 하드웨어에서 셀프 호스팅 LLM을 실행하는 Kubernetes 오퍼레이터입니다.

GitHub에서 보기웹사이트
스타
251
포크
43
열린 이슈
107
마지막 커밋
어제

어떤 프로젝트인가요?

LLMKube는 셀프 호스팅 LLM 추론을 배포하고 관리하는 Kubernetes 오퍼레이터입니다. YAML로 Model과 InferenceService를 정의하면 오퍼레이터가 모델 다운로드 및 캐싱, GPU 스케줄링, 상태 확인, 스케일링, OpenAI 호환 API 노출을 처리합니다. 클러스터 내에서 llama.cpp, vLLM, TGI 런타임을 지원합니다.

LLMKube의 차별점은 Apple Silicon에서 추론을 실행할 수 있다는 것입니다. Metal Agent는 llama-server, mlx-server 또는 vllm-swift를 Metal GPU에 접근할 수 있는 macOS 네이티브 프로세스로 실행하고, 컨트롤러는 이를 일반 Kubernetes Service로 노출합니다. 따라서 하나의 클러스터에서 동일한 CRD를 사용해 NVIDIA, AMD(Vulkan), Intel, Mac 호스트를 함께 운영할 수 있습니다.

ModelRouter 리소스는 로컬 InferenceService와 Anthropic, OpenAI, LiteLLM 같은 외부 제공자 앞에 정책을 적용하는 OpenAI 호환 엔드포인트를 둡니다. 규칙을 설정해 PII로 분류된 요청은 로컬에서 처리하고, 클라우드 백엔드로 대체하지 않고 HTTP 503을 반환할 수 있습니다. 프로젝트에는 같은 하드웨어 풀에서 코딩 에이전트를 실행하는 옵트인 오케스트레이터 Foreman도 포함되어 있습니다.

핵심 기능

  • 01선언적으로 LLM을 배포할 수 있는 Kubernetes CRD(Model, InferenceService)
  • 02클러스터 내 llama.cpp, vLLM, TGI 런타임과 Apple Silicon의 네이티브 llama-server, mlx-server, vllm-swift 지원
  • 03하나의 하드웨어 풀에서 NVIDIA CUDA, Vulkan 기반 AMD, Intel GPU, Apple Metal 지원
  • 04스트리밍을 지원하는 OpenAI 호환 /v1/chat/completions 엔드포인트
  • 05장애 시 클라우드로 대체하지 않는 규칙을 적용해 로컬 모델과 클라우드 모델 간 라우팅을 제어하는 ModelRouter
  • 06Prometheus 메트릭, OpenTelemetry 트레이싱, Grafana 대시보드 포함

활용 사례

  • Kubernetes 환경에서 온프레미스 또는 에어갭 환경의 LLM 추론 실행
  • Mac Studio 호스트와 NVIDIA 서버를 하나의 관리형 추론 클러스터로 통합
  • 규제 대상 데이터는 로컬 모델로 보내고 나머지 요청은 클라우드 제공자로 라우팅
  • 멀티 GPU 또는 혼합 하드웨어 모델 서빙을 원하는 홈랩 구성

빠른 시작

  1. 1

    Homebrew로 CLI 설치하기

    brew install defilantech/tap/llmkube
  2. 2

    Helm으로 Kubernetes 클러스터에 operator 설치하기

    helm repo add llmkube https://defilantech.github.io/LLMKube
  3. 3

    CLI로 모델 배포하기

    llmkube deploy phi-4-mini
  4. 4

    서비스를 포트 포워딩하고 OpenAI 호환 엔드포인트에 쿼리 보내기

    kubectl port-forward svc/phi-4-mini 8080:8080 &

사용 전 알아둘 점

  • Kubernetes 클러스터가 필요하므로, 한 대의 머신에서 모델 하나를 실행하는 용도로는 과한 구성입니다.
  • Apple Silicon을 지원하려면 Mac에서 별도의 metal-agent를 실행해야 합니다.

포함된 컬렉션

셀프 호스팅 앱로컬에서 LLM 실행하기오픈소스 Mac 앱GPU로 AI를 학습하고 실행하는 도구

토픽

#llm-inference#kubernetes-operator#self-hosted#apple-silicon#gpu#llama-cpp#openai-compatible#local-llm#ai#autoscaling

자주 묻는 질문

LLMKube은(는) 무엇인가요?
하나의 CRD 세트와 OpenAI 호환 엔드포인트로 NVIDIA, AMD, Apple Silicon 하드웨어에서 셀프 호스팅 LLM을 실행하는 Kubernetes 오퍼레이터입니다. LLMKube는 셀프 호스팅 LLM 추론을 배포하고 관리하는 Kubernetes 오퍼레이터입니다. YAML로 Model과 InferenceService를 정의하면 오퍼레이터가 모델 다운로드 및 캐싱, GPU 스케줄링, 상태 확인, 스케일링, OpenAI 호환 API 노출을 처리합니다. 클러스터 내에서 llama.cpp, vLLM, TGI 런타임을 지원합니다.
LLMKube은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
LLMKube은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
LLMKube은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. LLMKube의 마지막 커밋은 2026년 11월 6일입니다.
LLMKube은(는) 어디에 사용할 수 있나요?
Kubernetes 환경에서 온프레미스 또는 에어갭 환경의 LLM 추론 실행 Mac Studio 호스트와 NVIDIA 서버를 하나의 관리형 추론 클러스터로 통합 규제 대상 데이터는 로컬 모델로 보내고 나머지 요청은 클라우드 제공자로 라우팅 멀티 GPU 또는 혼합 하드웨어 모델 서빙을 원하는 홈랩 구성
LLMKube는 어떻게 설치하나요?
Homebrew로 CLI 설치하기: brew install defilantech/tap/llmkube Helm으로 Kubernetes 클러스터에 operator 설치하기: helm repo add llmkube https://defilantech.github.io/LLMKube CLI로 모델 배포하기: llmkube deploy phi-4-mini 서비스를 포트 포워딩하고 OpenAI 호환 엔드포인트에 쿼리 보내기: kubectl port-forward svc/phi-4-mini 8080:8080 &
LLMKube은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/defilantech/LLMKube

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트