Repolode
제출하기
kaito-project

kaito-project/kaito

GPU 노드에 LLM 추론, 파인튜닝, RAG 서비스를 자동 배포하는 Kubernetes 오퍼레이터 제품군입니다.

GitHub에서 보기웹사이트
스타
1,037
포크
195
열린 이슈
73
마지막 커밋
어제

어떤 프로젝트인가요?

KAITO는 Kubernetes 클러스터에서 대규모 언어 모델 추론, 파인튜닝, 검색 증강 생성(RAG) 엔진을 자동으로 실행하는 오퍼레이터 제품군입니다. 사용자는 Workspace 리소스에 GPU 인스턴스 유형과 HuggingFace 모델 ID를 지정합니다. 그러면 컨트롤러가 필요한 GPU 메모리를 추정하고 GPU 수를 계산한 뒤, Karpenter NodePool API를 통해 노드 프로비저닝을 시작합니다.

또한 GPU 토폴로지를 바탕으로 단일 노드 또는 멀티 노드 서빙을 위한 추론 엔진 설정을 생성하므로, 사용자가 병렬 처리 방식이나 최대 모델 길이를 직접 조정할 필요가 없습니다. 현재 지원하는 엔진은 vLLM뿐이며, LoRA 어댑터와 KV 캐시 오프로딩을 지원합니다. InferenceSet은 KEDA를 통해 vLLM 메트릭을 기반으로 복제본 수를 조절하고, InferencePool은 KV 캐시를 고려한 라우팅을 위해 Gateway API Inference Extension과 연동됩니다.

별도의 RAGEngine 리소스는 LLM 엔드포인트, 임베딩 서비스, 벡터 데이터베이스(기본값은 FAISS이며 Qdrant와 Milvus도 지원)를 함께 배포합니다. LlamaIndex를 기반으로 하는 RAGService는 문서 인덱싱과 BM25 및 벡터 검색을 결합한 하이브리드 검색을 지원합니다.

핵심 기능

  • 01HuggingFace 모델 ID와 인스턴스 유형을 바탕으로 GPU 메모리와 수를 추정하는 Workspace CRD.
  • 02Karpenter NodePool API를 통한 GPU 노드 자동 프로비저닝.
  • 03단일 노드 및 멀티 노드 vLLM 서빙을 위한 사전 설정된 추론 파라미터.
  • 04vLLM 메트릭을 이용한 KEDA 기반 추론 복제본 자동 스케일링.
  • 05FAISS, Qdrant 또는 Milvus 벡터 저장소와 BM25 및 벡터 검색을 결합한 하이브리드 검색을 제공하는 RAGEngine.

활용 사례

  • GPU 노드가 있는 Kubernetes 클러스터에서 HuggingFace의 오픈 웨이트 LLM 서빙.
  • 문서 인덱싱과 OpenAI 스타일의 채팅 엔드포인트를 갖춘 RAG 서비스 배포.
  • 요청 부하에 따라 LLM 추론 복제본 자동 스케일링.
  • 단일 GPU 노드에 담기 어려운 모델을 위한 멀티 노드 분산 추론 실행.

포함된 컬렉션

로컬에서 LLM 실행하기GPU로 AI를 학습하고 실행하는 도구

토픽

#kubernetes#llm-inference#gpu#operator#rag#vllm#autoscaling#ai

자주 묻는 질문

kaito은(는) 무엇인가요?
GPU 노드에 LLM 추론, 파인튜닝, RAG 서비스를 자동 배포하는 Kubernetes 오퍼레이터 제품군입니다. KAITO는 Kubernetes 클러스터에서 대규모 언어 모델 추론, 파인튜닝, 검색 증강 생성(RAG) 엔진을 자동으로 실행하는 오퍼레이터 제품군입니다. 사용자는 Workspace 리소스에 GPU 인스턴스 유형과 HuggingFace 모델 ID를 지정합니다. 그러면 컨트롤러가 필요한 GPU 메모리를 추정하고 GPU 수를 계산한 뒤, Karpenter NodePool API를 통해 노드 프로비저닝을 시작합니다.
kaito은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
kaito은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
kaito은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. kaito의 마지막 커밋은 2026년 11월 6일입니다.
kaito은(는) 어디에 사용할 수 있나요?
GPU 노드가 있는 Kubernetes 클러스터에서 HuggingFace의 오픈 웨이트 LLM 서빙. 문서 인덱싱과 OpenAI 스타일의 채팅 엔드포인트를 갖춘 RAG 서비스 배포. 요청 부하에 따라 LLM 추론 복제본 자동 스케일링. 단일 GPU 노드에 담기 어려운 모델을 위한 멀티 노드 분산 추론 실행.
kaito은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/kaito-project/kaito

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트