kubeai-project/kubeai

어떤 프로젝트인가요?

핵심 기능

• 01vLLM, Ollama, FasterWhisper, Infinity 서버를 Kubernetes Pod로 배포합니다.
• 02수요에 따라 모델 복제본을 0개부터 확장합니다.
• 03채팅, 임베딩, 리랭킹, 트랜스크립션용 OpenAI 호환 엔드포인트를 제공합니다.
• 04프리픽스 인식 로드 밸런싱으로 vLLM KV 캐시 활용률을 높입니다.
• 05모델 다운로드와 볼륨 마운트를 자동화하고 LoRA 어댑터를 관리합니다.

활용 사례

• OpenAI 스타일 API를 통해 회사 자체 Kubernetes 클러스터에서 오픈 웨이트 LLM을 호스팅합니다.
• 유휴 상태일 때 축소되는 음성 인식 트랜스크립션 서비스를 운영합니다.
• 검색 또는 검색 증강 파이프라인에 임베딩 및 리랭킹 모델을 제공합니다.

빠른 시작

1. 1

   로컬 Kubernetes 클러스터를 생성합니다

   kind create cluster
2. 2

   KubeAI Helm 리포지토리를 추가합니다

   helm repo add kubeai https://www.kubeai.org
3. 3

   KubeAI를 설치하고 구성 요소가 준비될 때까지 기다립니다

   helm install kubeai kubeai/kubeai --wait --timeout 10m
4. 4

   values 파일을 사용해 사전 정의된 모델을 설치합니다(YAML은 README 참조)

사용 전 알아둘 점

• !실행 중인 Kubernetes 클러스터가 필요하며, 독립 실행형 도구가 아닙니다.
• !kind용 Podman 로컬 설정에는 머신 메모리가 최소 6 GB 필요합니다.

포함된 컬렉션

토픽

자주 묻는 질문

kubeai은(는) 무엇인가요?

OpenAI 호환 API를 통해 LLM, 임베딩, 리랭킹, 음성 인식 모델을 배포하고 자동 확장하는 Kubernetes 오퍼레이터입니다. KubeAI는 LLM, 임베딩 모델, 리랭커, 음성 인식 모델 같은 머신러닝 모델을 배포하고 확장하는 Kubernetes용 AI 추론 오퍼레이터입니다. vLLM, Ollama, FasterWhisper, Infinity 같은 백엔드 서버를 Kubernetes Pod로 관리하며, Model 커스텀 리소스를 통해 모델 다운로드, 볼륨 마운트, 동적 LoRA 어댑터 로딩을 처리합니다.

kubeai은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

kubeai은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

kubeai은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. kubeai의 마지막 커밋은 2026년 11월 3일입니다.

kubeai은(는) 어디에 사용할 수 있나요?

OpenAI 스타일 API를 통해 회사 자체 Kubernetes 클러스터에서 오픈 웨이트 LLM을 호스팅합니다. 유휴 상태일 때 축소되는 음성 인식 트랜스크립션 서비스를 운영합니다. 검색 또는 검색 증강 파이프라인에 임베딩 및 리랭킹 모델을 제공합니다.

kubeai는 어떻게 설치하나요?

로컬 Kubernetes 클러스터를 생성합니다: kind create cluster KubeAI Helm 리포지토리를 추가합니다: helm repo add kubeai https://www.kubeai.org KubeAI를 설치하고 구성 요소가 준비될 때까지 기다립니다: helm install kubeai kubeai/kubeai --wait --timeout 10m values 파일을 사용해 사전 정의된 모델을 설치합니다(YAML은 README 참조)

kubeai은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/kubeai-project/kubeai