openvinotoolkit/model_server

어떤 프로젝트인가요?

핵심 기능

• 01채팅, 임베딩, 이미지 생성 및 오디오를 위한 OpenAI 호환 엔드포인트
• 02기존 모델 추론을 위한 KServe API
• 03LLM용 연속 배칭, 스트리밍 및 추측 디코딩
• 04로컬, 클라우드 또는 Hugging Face 스토리지에서 모델 버전 관리 및 핫 리로드
• 05다단계 파이프라인을 위한 MediaPipe 그래프 및 Python 노드
• 06Prometheus 호환 메트릭

활용 사례

• Intel 하드웨어에서 OpenAI 호환 API 뒤에 로컬 LLM 제공
• Kubernetes에서 탐지 또는 OCR 같은 기존 비전 모델 배포
• CPU 또는 GPU에서 임베딩 및 리랭킹 모델 같은 RAG 구성 요소 실행
• C API를 통해 네이티브 C++ 애플리케이션에 모델 추론 기능 임베드

빠른 시작

1. 1

   최신 OpenVINO Model Server Docker 이미지를 가져옵니다

   docker pull openvino/model_server:latest
2. 2

   README의 Serve an LLM 섹션에 있는 Docker 명령으로 LLM을 사용해 서버를 실행합니다

사용 전 알아둘 점

• !공식 지원 대상은 Linux와 Windows뿐이며 macOS는 명시되어 있지 않습니다.
• !OpenVINO를 통한 가속은 Intel 하드웨어(CPU, GPU, NPU)를 대상으로 합니다.

토픽

자주 묻는 질문

model_server은(는) 무엇인가요?

OpenAI 호환 API와 KServe API를 통해 OpenVINO 최적화 생성형 AI 및 기존 딥러닝 모델을 제공하는 C++ 추론 서버입니다. OpenVINO Model Server (OVMS)는 표준 네트워크 API를 통해 머신러닝 모델을 제공하는 C++ 추론 서버입니다. OpenAI 호환 엔드포인트로 LLM, 비전 언어 모델, 임베딩, 리랭킹, 이미지 생성 및 오디오를 지원하며, KServe API로 객체 탐지, 분류, OCR 같은 기존 모델도 제공합니다.

model_server은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

model_server은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

model_server은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. model_server의 마지막 커밋은 2026년 10월 21일입니다.

model_server은(는) 어디에 사용할 수 있나요?

Intel 하드웨어에서 OpenAI 호환 API 뒤에 로컬 LLM 제공 Kubernetes에서 탐지 또는 OCR 같은 기존 비전 모델 배포 CPU 또는 GPU에서 임베딩 및 리랭킹 모델 같은 RAG 구성 요소 실행 C API를 통해 네이티브 C++ 애플리케이션에 모델 추론 기능 임베드

model_server는 어떻게 설치하나요?

최신 OpenVINO Model Server Docker 이미지를 가져옵니다: docker pull openvino/model_server:latest README의 Serve an LLM 섹션에 있는 Docker 명령으로 LLM을 사용해 서버를 실행합니다

model_server은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/openvinotoolkit/model_server