openvinotoolkit/openvino.genai

어떤 프로젝트인가요?

핵심 기능

• 01생성형 AI 파이프라인 실행을 위한 Python, C++, Node.js API
• 02LLM, 비전-언어, 이미지, 동영상, 음성, 임베딩 모델 지원
• 03OpenVINO Runtime을 통해 CPU, GPU, NPU에서 실행
• 04추측 디코딩, KV 캐시 제거, 희소 어텐션 포함
• 05LLM 서빙을 위한 프리픽스 캐싱 및 연속 배칭 제공
• 06여러 LoRA 어댑터의 로드 및 혼합 지원

활용 사례

• Intel 노트북이나 데스크톱에서 오픈 LLM으로 로컬 챗봇 실행
• 로컬 하드웨어에서 Stable Diffusion 또는 Flux 모델로 이미지나 짧은 동영상 생성
• 로컬 텍스트 임베딩 및 리랭킹 모델을 활용한 RAG 파이프라인 구축
• 데스크톱 또는 C++ 애플리케이션에 Whisper 기반 오프라인 음성-텍스트 변환 추가

빠른 시작

1. 1

   PyPI에서 OpenVINO GenAI 설치

   pip install openvino-genai
2. 2

   Hugging Face에서 모델을 OpenVINO IR 형식으로 내보내기

   optimum-cli export openvino --model TinyLlama/TinyLlama-1.1B-Chat-v1.0 --weight-format int4 --trust-remote-code TinyLlama_1_1b_v1_ov
3. 3

   Python에서 LLMPipeline으로 추론 실행

   import openvino_genai as ov_genai pipe = ov_genai.LLMPipeline("TinyLlama_1_1b_v1_ov", "CPU") # Use CPU or GPU as devices without any other code change print(pipe.generate("What is OpenVINO?", max_new_tokens=100))

사용 전 알아둘 점

• !OpenVINO Runtime을 기반으로 실행되므로 하드웨어 지원은 해당 런타임의 CPU, GPU, NPU 플랫폼 지원 범위로 제한됩니다.
• !사용하기 전에 모델을 OpenVINO IR 형식으로 변환해야 하므로 추가 내보내기 단계가 필요합니다.

포함된 컬렉션

토픽

자주 묻는 질문

openvino.genai은(는) 무엇인가요?

OpenVINO Runtime에서 LLM, 이미지, 음성, 임베딩 모델 등의 생성형 AI 모델을 실행하는 C++/Python/Node.js 라이브러리입니다. OpenVINO GenAI는 OpenVINO Runtime을 기반으로 인기 생성형 AI 모델을 실행할 수 있도록 미리 만들어진 파이프라인을 제공하는 라이브러리입니다. 간단한 C++, Python, Node.js API를 통해 개발자가 모델 파이프라인을 직접 구성하지 않고도 텍스트 생성, 비전-언어, 이미지 및 동영상 생성, Whisper 음성 인식, SpeechT5 텍스트 음성 변환, 텍스트 임베딩 및 리랭킹 워크플로를 실행할 수 있습니다.

openvino.genai은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

openvino.genai은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

openvino.genai은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. openvino.genai의 마지막 커밋은 2026년 10월 22일입니다.

openvino.genai은(는) 어디에 사용할 수 있나요?

Intel 노트북이나 데스크톱에서 오픈 LLM으로 로컬 챗봇 실행 로컬 하드웨어에서 Stable Diffusion 또는 Flux 모델로 이미지나 짧은 동영상 생성 로컬 텍스트 임베딩 및 리랭킹 모델을 활용한 RAG 파이프라인 구축 데스크톱 또는 C++ 애플리케이션에 Whisper 기반 오프라인 음성-텍스트 변환 추가

openvino.genai는 어떻게 설치하나요?

PyPI에서 OpenVINO GenAI 설치: pip install openvino-genai Hugging Face에서 모델을 OpenVINO IR 형식으로 내보내기: optimum-cli export openvino --model TinyLlama/TinyLlama-1.1B-Chat-v1.0 --weight-format int4 --trust-remote-code TinyLlama_1_1b_v1_ov Python에서 LLMPipeline으로 추론 실행: import openvino_genai as ov_genai pipe = ov_genai.LLMPipeline("TinyLlama_1_1b_v1_ov", "CPU") # Use CPU or GPU as devices without any other code change print(pipe.generate("What is OpenVINO?", max_new_tokens=100))

openvino.genai은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/openvinotoolkit/openvino.genai