ome은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

ome은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

ome은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. ome의 마지막 커밋은 2026년 10월 22일입니다.

ome은(는) 어디에 사용할 수 있나요?

공유 GPU Kubernetes 클러스터에서 Llama, Qwen, DeepSeek 같은 오픈 웨이트 LLM 여러 개를 서빙합니다. prefill-decode 분리를 활용해 대규모 모델을 여러 노드에 걸쳐 실행합니다. KEDA, Kueue 또는 Gateway API를 사용해 LLM 롤아웃과 오토스케일링을 관리합니다. BenchmarkJob 리소스를 사용해 설정 가능한 트래픽 패턴에서 모델 성능을 벤치마킹합니다.

ome는 어떻게 설치하나요?

Helm으로 OME CRD 설치: helm upgrade --install ome-crd oci://ghcr.io/moirai-internal/charts/ome-crd --namespace ome --create-namespace Helm으로 OME 리소스 설치: helm upgrade --install ome oci://ghcr.io/moirai-internal/charts/ome-resources --namespace ome

ome은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/ome-projects/ome

ome-projects/ome

GPU 스케줄링과 모델 수명 주기 관리를 지원하며 SGLang, vLLM, TensorRT-LLM, Triton 서빙을 배포하고 관리하는 Kubernetes 오퍼레이터입니다.

GitHub에서 보기 웹사이트

스타: 518
포크: 104
열린 이슈: 120
마지막 커밋: 14시간 전

어떤 프로젝트인가요?

OME(Open Model Engine)는 대규모 언어 모델을 배포하고 운영하는 Kubernetes 오퍼레이터입니다. 기본 모델, LoRA 미세 조정 가중치, 서빙 런타임, 추론 서비스를 커스텀 리소스로 정의하며, 컨트롤러는 모델 파일을 다운로드하고 파싱한 뒤 적합한 런타임 구성을 선택해 실행에 필요한 Kubernetes 리소스를 생성합니다.

이 프로젝트는 GPU에서 여러 모델을 실행하는 클러스터를 대상으로 합니다. 별도 스케줄러를 통한 GPU bin-packing 스케줄링, 하드웨어 선택을 위한 AcceleratorClass 정의, prefill-decode 분리 및 멀티노드 추론, 카나리 또는 블루-그린 롤아웃을 지원합니다. Kueue, LeaderWorkerSet, KEDA, Gateway API Inference Extension과도 연동됩니다.

`kubectl ome` 플러그인으로 모델, 런타임, 서비스를 살펴보고 로그를 스트리밍하며, 롤아웃 롤백이나 트래픽 차단 같은 보호 조치가 적용된 작업을 실행할 수 있습니다. 선택적으로 사용할 수 있는 알파 애드온에는 플릿 할당량 관리와 GPU caretaker 구성 요소가 포함됩니다. Helm 차트로 설치하며 Kubernetes 1.28 이상이 필요합니다.

핵심 기능

01모델, 런타임, 추론 서비스를 Kubernetes 커스텀 리소스로 정의합니다.
02모델 아키텍처, 형식, 양자화 방식, 크기에 따라 런타임을 자동으로 선택합니다.
03SGLang과 vLLM을 지원하며, 프로젝트 설명에는 TensorRT-LLM과 Triton도 언급되어 있습니다.
04prefill-decode 분리, 멀티노드 추론, 카나리 또는 블루-그린 롤아웃을 지원합니다.
05GPU bin-packing 스케줄링과 AcceleratorClass 기반 하드웨어 선택을 지원합니다.
06서비스를 확인하고 보호 조치가 적용된 롤아웃 및 트래픽 관련 작업을 실행하는 kubectl 플러그인을 제공합니다.

활용 사례

공유 GPU Kubernetes 클러스터에서 Llama, Qwen, DeepSeek 같은 오픈 웨이트 LLM 여러 개를 서빙합니다.
prefill-decode 분리를 활용해 대규모 모델을 여러 노드에 걸쳐 실행합니다.
KEDA, Kueue 또는 Gateway API를 사용해 LLM 롤아웃과 오토스케일링을 관리합니다.
BenchmarkJob 리소스를 사용해 설정 가능한 트래픽 패턴에서 모델 성능을 벤치마킹합니다.

빠른 시작

1
Helm으로 OME CRD 설치
helm upgrade --install ome-crd oci://ghcr.io/moirai-internal/charts/ome-crd --namespace ome --create-namespace
2
Helm으로 OME 리소스 설치
helm upgrade --install ome oci://ghcr.io/moirai-internal/charts/ome-resources --namespace ome

사용 전 알아둘 점

Kubernetes 1.28 이상과 실행에 사용할 Kubernetes 클러스터가 필요합니다.
스케줄러, 쿼터 관리자, Alfred 등의 일부 애드온은 알파 버전입니다.

토픽

#llm-inference #kubernetes #model-serving #gpu-scheduling #sglang #vllm #llm-ops #deepseek #k8s #kimi-k2

자주 묻는 질문

ome은(는) 무엇인가요?: GPU 스케줄링과 모델 수명 주기 관리를 지원하며 SGLang, vLLM, TensorRT-LLM, Triton 서빙을 배포하고 관리하는 Kubernetes 오퍼레이터입니다. OME(Open Model Engine)는 대규모 언어 모델을 배포하고 운영하는 Kubernetes 오퍼레이터입니다. 기본 모델, LoRA 미세 조정 가중치, 서빙 런타임, 추론 서비스를 커스텀 리소스로 정의하며, 컨트롤러는 모델 파일을 다운로드하고 파싱한 뒤 적합한 런타임 구성을 선택해 실행에 필요한 Kubernetes 리소스를 생성합니다.
ome은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?: ome은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
ome은(는) 아직 유지보수되고 있나요?: 활발히 유지보수 중. ome의 마지막 커밋은 2026년 10월 22일입니다.
ome은(는) 어디에 사용할 수 있나요?: 공유 GPU Kubernetes 클러스터에서 Llama, Qwen, DeepSeek 같은 오픈 웨이트 LLM 여러 개를 서빙합니다. prefill-decode 분리를 활용해 대규모 모델을 여러 노드에 걸쳐 실행합니다. KEDA, Kueue 또는 Gateway API를 사용해 LLM 롤아웃과 오토스케일링을 관리합니다. BenchmarkJob 리소스를 사용해 설정 가능한 트래픽 패턴에서 모델 성능을 벤치마킹합니다.
ome는 어떻게 설치하나요?: Helm으로 OME CRD 설치: helm upgrade --install ome-crd oci://ghcr.io/moirai-internal/charts/ome-crd --namespace ome --create-namespace Helm으로 OME 리소스 설치: helm upgrade --install ome oci://ghcr.io/moirai-internal/charts/ome-resources --namespace ome
ome은(는) 어디서 받을 수 있나요?: 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/ome-projects/ome

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.