openvinotoolkit/openvino.genai

Что это?

Ключевые возможности

• 01API для Python, C++ и Node.js для запуска пайплайнов генеративного AI
• 02Поддержка LLM, моделей для работы с изображениями и текстом, моделей изображений, видео, речи и эмбеддингов
• 03Запуск на CPU, GPU и NPU через OpenVINO Runtime
• 04Встроенные speculative decoding, вытеснение данных из KV cache и sparse attention
• 05Prefix caching и continuous batching для обслуживания запросов к LLM
• 06Поддержка загрузки и смешивания нескольких LoRA-адаптеров

Сценарии использования

• Запуск локального чат-бота с открытой LLM на ноутбуке или настольном компьютере Intel
• Генерация изображений или коротких видео с моделями Stable Diffusion или Flux на локальном устройстве
• Создание RAG-пайплайна с локальными моделями текстовых эмбеддингов и реранкинга
• Добавление офлайн-распознавания речи с Whisper в настольное приложение или приложение на C++

Быстрый старт

1. 1

   Установите OpenVINO GenAI из PyPI

   pip install openvino-genai
2. 2

   Экспортируйте модель с Hugging Face в формат OpenVINO IR

   optimum-cli export openvino --model TinyLlama/TinyLlama-1.1B-Chat-v1.0 --weight-format int4 --trust-remote-code TinyLlama_1_1b_v1_ov
3. 3

   Запустите инференс с LLMPipeline в Python

   import openvino_genai as ov_genai pipe = ov_genai.LLMPipeline("TinyLlama_1_1b_v1_ov", "CPU") # Use CPU or GPU as devices without any other code change print(pipe.generate("What is OpenVINO?", max_new_tokens=100))

Что важно знать

• !Работает поверх OpenVINO Runtime, поэтому поддержка оборудования ограничена платформами CPU, GPU и NPU, поддерживаемыми этой средой выполнения.
• !Перед использованием модели необходимо преобразовать в формат OpenVINO IR, что требует дополнительного этапа экспорта.

В подборках

Темы

Частые вопросы

Что такое openvino.genai?

Библиотека на C++/Python/Node.js для запуска генеративных AI-моделей — LLM, моделей изображений, речи и эмбеддингов — на OpenVINO Runtime. OpenVINO GenAI — это библиотека готовых пайплайнов для популярных генеративных AI-моделей, построенная на базе OpenVINO Runtime. Она предоставляет простые API для C++, Python и Node.js, чтобы разработчики могли запускать генерацию текста, модели для работы с изображениями и текстом, генерацию изображений и видео, распознавание речи с Whisper, преобразование текста в речь с SpeechT5, а также сценарии с текстовыми эмбеддингами и реранкингом — без необходимости собирать пайплайн модели самостоятельно.

openvino.genai можно использовать бесплатно? Какая у него лицензия?

openvino.genai распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

openvino.genai всё ещё поддерживается?

Активно поддерживается. Последний коммит в openvino.genai — 22 окт. 2026 г..

Для чего можно использовать openvino.genai?

Запуск локального чат-бота с открытой LLM на ноутбуке или настольном компьютере Intel Генерация изображений или коротких видео с моделями Stable Diffusion или Flux на локальном устройстве Создание RAG-пайплайна с локальными моделями текстовых эмбеддингов и реранкинга Добавление офлайн-распознавания речи с Whisper в настольное приложение или приложение на C++

Как установить openvino.genai?

Установите OpenVINO GenAI из PyPI: pip install openvino-genai Экспортируйте модель с Hugging Face в формат OpenVINO IR: optimum-cli export openvino --model TinyLlama/TinyLlama-1.1B-Chat-v1.0 --weight-format int4 --trust-remote-code TinyLlama_1_1b_v1_ov Запустите инференс с LLMPipeline в Python: import openvino_genai as ov_genai pipe = ov_genai.LLMPipeline("TinyLlama_1_1b_v1_ov", "CPU") # Use CPU or GPU as devices without any other code change print(pipe.generate("What is OpenVINO?", max_new_tokens=100))

Где скачать openvino.genai?

Исходный код и инструкции по установке — на GitHub: https://github.com/openvinotoolkit/openvino.genai