Repolode
openvinotoolkit

openvinotoolkit/openvino

Intel CPU, GPU, NPU에서 추론할 딥러닝 모델을 최적화하고 배포하는 오픈 소스 툴킷입니다.

스타
11,028
포크
3,472
열린 이슈
883
마지막 커밋
11시간 전

어떤 프로젝트인가요?

OpenVINO는 AI 추론을 최적화하고 배포하기 위한 OpenVINO 프로젝트의 오픈 소스 툴킷입니다. PyTorch, TensorFlow, ONNX, Keras, PaddlePaddle, JAX/Flax 등의 프레임워크로 학습한 모델을 가져와 배포 시 원래 프레임워크 없이도 변환하고, 지원되는 하드웨어에서 효율적으로 실행합니다.

추론 대상에는 x86 및 ARM CPU, Intel 내장 및 외장 GPU, Intel NPU가 포함됩니다. C++, Python, C, NodeJS용 API와 LLM 및 diffusion 모델 파이프라인을 위한 GenAI API를 제공합니다. Hugging Face Hub의 모델은 Optimum Intel을 통해 사용할 수 있습니다.

생태계에는 양자화와 희소성을 지원하는 Neural Network Compression Framework(NNCF), 서빙을 위한 OpenVINO Model Server, 그리고 vLLM, ONNX Runtime, LangChain, LlamaIndex, torch.compile과의 통합이 포함됩니다.

핵심 기능

  • 01PyTorch, TensorFlow, ONNX, Keras, PaddlePaddle, JAX/Flax 모델을 추론용으로 변환합니다.
  • 02x86 및 ARM CPU를 비롯해 Intel CPU, GPU, NPU에서 추론을 실행합니다.
  • 03C++, Python, C, NodeJS용 API를 제공합니다.
  • 04LLM 및 diffusion 모델 파이프라인을 위한 GenAI API를 포함합니다.
  • 05NNCF를 통해 양자화와 희소성 등의 모델 압축 기법을 제공합니다.

활용 사례

  • Intel 엣지 또는 서버 하드웨어에서 YOLO 같은 컴퓨터 비전 모델을 배포합니다.
  • Intel CPU 또는 GPU에서 로컬 LLM 챗봇이나 텍스트-이미지 파이프라인을 실행합니다.
  • 지원되는 장치에서 Whisper 같은 음성 인식 모델을 가속합니다.
  • 최적화된 추론을 기존 ONNX Runtime 또는 vLLM 워크플로에 통합합니다.

빠른 시작

  1. 1

    pip으로 OpenVINO 설치

    pip install -U openvino
  2. 2

    버전을 출력해 설치 확인

    python -c "import openvino as ov; print(ov.__version__)"

사용 전 알아둘 점

  • 최상의 결과를 위해 Intel 하드웨어(CPU, GPU, NPU)를 대상으로 하며, 다른 가속기에서는 효과가 제한적입니다.

토픽

자주 묻는 질문

openvino은(는) 무엇인가요?
Intel CPU, GPU, NPU에서 추론할 딥러닝 모델을 최적화하고 배포하는 오픈 소스 툴킷입니다. OpenVINO는 AI 추론을 최적화하고 배포하기 위한 OpenVINO 프로젝트의 오픈 소스 툴킷입니다. PyTorch, TensorFlow, ONNX, Keras, PaddlePaddle, JAX/Flax 등의 프레임워크로 학습한 모델을 가져와 배포 시 원래 프레임워크 없이도 변환하고, 지원되는 하드웨어에서 효율적으로 실행합니다.
openvino은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
openvino은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
openvino은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. openvino의 마지막 커밋은 2026년 10월 20일입니다.
openvino은(는) 어디에 사용할 수 있나요?
Intel 엣지 또는 서버 하드웨어에서 YOLO 같은 컴퓨터 비전 모델을 배포합니다. Intel CPU 또는 GPU에서 로컬 LLM 챗봇이나 텍스트-이미지 파이프라인을 실행합니다. 지원되는 장치에서 Whisper 같은 음성 인식 모델을 가속합니다. 최적화된 추론을 기존 ONNX Runtime 또는 vLLM 워크플로에 통합합니다.
openvino는 어떻게 설치하나요?
pip으로 OpenVINO 설치: pip install -U openvino 버전을 출력해 설치 확인: python -c "import openvino as ov; print(ov.__version__)"
openvino은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/openvinotoolkit/openvino

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트