InftyAI/llmaz

어떤 프로젝트인가요?

핵심 기능

• 01모델과 플레이그라운드 리소스를 적용해 Kubernetes에 LLM 서비스를 배포합니다.
• 02vLLM, TGI, SGLang, llama.cpp, TensorRT-LLM 백엔드를 지원합니다.
• 03Hugging Face, ModelScope, 오브젝트 스토어에서 모델을 자동으로 불러옵니다.
• 04LWS를 사용한 멀티 호스트 분산 추론을 지원합니다.
• 05LLM 기반 메트릭을 활용한 HPA 오토스케일링과 Karpenter를 통한 노드 오토스케일링을 지원합니다.
• 06Envoy AI Gateway를 통해 토큰 기반 속도 제한과 모델 라우팅을 제공합니다.

활용 사례

• GPU가 있는 기존 Kubernetes 클러스터에서 오픈 웨이트 LLM을 호스팅합니다.
• 비용과 성능의 균형을 맞추기 위해 여러 종류의 가속기에 걸쳐 하나의 모델을 서빙합니다.
• 멀티 호스트 분산 추론이 필요한 대규모 모델을 실행합니다.
• 내부 팀에 채팅 UI를 갖춘 OpenAI 호환 completions 엔드포인트를 제공합니다.

빠른 시작

1. 1

   설치 가이드를 읽고 Kubernetes 클러스터에 llmaz를 설치합니다

2. 2

   모델에 필요한 경우 Hugging Face 토큰 Secret을 생성합니다

   kubectl create secret generic modelhub-secret --from-literal=HF_TOKEN=<your token>
3. 3

   OpenModel 및 Playground 리소스를 적용해 facebook/opt-125m을 배포합니다

4. 4

   서비스를 localhost로 포트 포워딩합니다

   kubectl port-forward svc/opt-125m-lb 8080:8080

사용 전 알아둘 점

• !프로젝트는 알파 단계이므로 베타 버전에 도달하기 전에 API가 변경될 수 있습니다.
• !배포하려면 기존 Kubernetes 클러스터가 필요하므로 직접 호스팅하는 데 추가 작업이 필요합니다.
• !GPU 또는 CPU에서 실행하려면 CPU 사용을 위한 llama.cpp 예시와 같은 추가 설정이 필요합니다.

포함된 컬렉션

토픽

자주 묻는 질문

llmaz은(는) 무엇인가요?

vLLM, SGLang, llama.cpp 등 다양한 백엔드를 연결해 Kubernetes에서 대규모 언어 모델을 배포하고 서빙하는 Kubernetes 네이티브 추론 플랫폼입니다. llmaz는 Kubernetes에서 대규모 언어 모델을 실행하기 위한 추론 플랫폼입니다. 사용자는 모델과 플레이그라운드를 Kubernetes 리소스로 선언하고, 플랫폼이 모델 로딩과 서비스 노출을 처리하므로 최소한의 설정만으로 LLM 엔드포인트를 만들 수 있습니다.

llmaz은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

llmaz은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

llmaz은(는) 아직 유지보수되고 있나요?

6개월 이내 업데이트. llmaz의 마지막 커밋은 2026년 8월 27일입니다.

llmaz은(는) 어디에 사용할 수 있나요?

GPU가 있는 기존 Kubernetes 클러스터에서 오픈 웨이트 LLM을 호스팅합니다. 비용과 성능의 균형을 맞추기 위해 여러 종류의 가속기에 걸쳐 하나의 모델을 서빙합니다. 멀티 호스트 분산 추론이 필요한 대규모 모델을 실행합니다. 내부 팀에 채팅 UI를 갖춘 OpenAI 호환 completions 엔드포인트를 제공합니다.

llmaz는 어떻게 설치하나요?

설치 가이드를 읽고 Kubernetes 클러스터에 llmaz를 설치합니다 모델에 필요한 경우 Hugging Face 토큰 Secret을 생성합니다: kubectl create secret generic modelhub-secret --from-literal=HF_TOKEN=<your token> OpenModel 및 Playground 리소스를 적용해 facebook/opt-125m을 배포합니다 서비스를 localhost로 포트 포워딩합니다: kubectl port-forward svc/opt-125m-lb 8080:8080

llmaz은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/InftyAI/llmaz