openvinotoolkit/openvino.genai

O que é?

Recursos principais

• 01APIs em Python, C++ e Node.js para executar pipelines de IA generativa
• 02Compatível com modelos de LLM, visão e linguagem, imagem, vídeo, fala e embeddings
• 03Executa em CPU, GPU e NPU por meio do OpenVINO Runtime
• 04Inclui speculative decoding, remoção de tokens do KV cache e sparse attention
• 05Oferece prefix caching e continuous batching para servir LLMs
• 06Permite carregar e combinar vários adaptadores LoRA

Casos de uso

• Executar localmente um chatbot com um LLM aberto em um notebook ou desktop Intel
• Gerar imagens ou vídeos curtos com modelos Stable Diffusion ou Flux em hardware local
• Criar um pipeline RAG com modelos locais de embeddings de texto e reranking
• Adicionar conversão de fala em texto offline com Whisper a um aplicativo desktop ou em C++

Início rápido

1. 1

   Instale o OpenVINO GenAI pelo PyPI

   pip install openvino-genai
2. 2

   Exporte um modelo do Hugging Face para o formato OpenVINO IR

   optimum-cli export openvino --model TinyLlama/TinyLlama-1.1B-Chat-v1.0 --weight-format int4 --trust-remote-code TinyLlama_1_1b_v1_ov
3. 3

   Execute inferências com o LLMPipeline em Python

   import openvino_genai as ov_genai pipe = ov_genai.LLMPipeline("TinyLlama_1_1b_v1_ov", "CPU") # Use CPU or GPU as devices without any other code change print(pipe.generate("What is OpenVINO?", max_new_tokens=100))

Antes de usar

• !Ele é executado sobre o OpenVINO Runtime, portanto o suporte a hardware se limita às plataformas de CPU, GPU e NPU compatíveis com esse runtime.
• !Os modelos precisam ser convertidos para o formato OpenVINO IR antes do uso, o que exige uma etapa extra de exportação.

Em coleções

Tópicos

Perguntas frequentes

O que é openvino.genai?

Biblioteca em C++, Python e Node.js para executar modelos de IA generativa, como LLMs e modelos de imagem, fala e embeddings, no OpenVINO Runtime. O OpenVINO GenAI é uma biblioteca de pipelines prontos para modelos populares de IA generativa, construída sobre o OpenVINO Runtime. Ela oferece APIs simples em C++, Python e Node.js para executar geração de texto, modelos de visão e linguagem, geração de imagens e vídeos, reconhecimento de fala com Whisper, conversão de texto em fala com SpeechT5 e fluxos de trabalho de embeddings de texto e reranking, sem que os desenvolvedores precisem montar o pipeline do modelo por conta própria.

openvino.genai é gratuito? Qual é a licença?

openvino.genai é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.

openvino.genai ainda é mantido?

Manutenção ativa. O último commit de openvino.genai foi em 22 de out. de 2026.

Para que posso usar openvino.genai?

Executar localmente um chatbot com um LLM aberto em um notebook ou desktop Intel Gerar imagens ou vídeos curtos com modelos Stable Diffusion ou Flux em hardware local Criar um pipeline RAG com modelos locais de embeddings de texto e reranking Adicionar conversão de fala em texto offline com Whisper a um aplicativo desktop ou em C++

Como instalar openvino.genai?

Instale o OpenVINO GenAI pelo PyPI: pip install openvino-genai Exporte um modelo do Hugging Face para o formato OpenVINO IR: optimum-cli export openvino --model TinyLlama/TinyLlama-1.1B-Chat-v1.0 --weight-format int4 --trust-remote-code TinyLlama_1_1b_v1_ov Execute inferências com o LLMPipeline em Python: import openvino_genai as ov_genai pipe = ov_genai.LLMPipeline("TinyLlama_1_1b_v1_ov", "CPU") # Use CPU or GPU as devices without any other code change print(pipe.generate("What is OpenVINO?", max_new_tokens=100))

Onde consigo openvino.genai?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/openvinotoolkit/openvino.genai