openvinotoolkit/openvino.genai

¿Qué es?

Funciones clave

• 01API para Python, C++ y Node.js para ejecutar pipelines de IA generativa
• 02Admite modelos LLM, de visión y lenguaje, de imagen, video, voz y embeddings
• 03Se ejecuta en CPU, GPU y NPU mediante OpenVINO Runtime
• 04Incluye speculative decoding, eliminación de elementos de la KV cache y sparse attention
• 05Ofrece prefix caching y continuous batching para servir LLM
• 06Admite la carga y combinación de varios adaptadores LoRA

Casos de uso

• Ejecutar un chatbot local con un LLM abierto en una laptop o computadora de escritorio Intel
• Generar imágenes o videos cortos con modelos Stable Diffusion o Flux en hardware local
• Crear un pipeline RAG con modelos locales de generación de embeddings y reranking de texto
• Añadir conversión de voz a texto sin conexión con Whisper a una aplicación de escritorio o C++

Inicio rápido

1. 1

   Instala OpenVINO GenAI desde PyPI

   pip install openvino-genai
2. 2

   Exporta un modelo de Hugging Face al formato OpenVINO IR

   optimum-cli export openvino --model TinyLlama/TinyLlama-1.1B-Chat-v1.0 --weight-format int4 --trust-remote-code TinyLlama_1_1b_v1_ov
3. 3

   Ejecuta inferencias con LLMPipeline en Python

   import openvino_genai as ov_genai pipe = ov_genai.LLMPipeline("TinyLlama_1_1b_v1_ov", "CPU") # Use CPU or GPU as devices without any other code change print(pipe.generate("What is OpenVINO?", max_new_tokens=100))

Antes de usarlo

• !Se ejecuta sobre OpenVINO Runtime, por lo que la compatibilidad de hardware se limita a las plataformas de CPU, GPU y NPU compatibles con este runtime.
• !Los modelos deben convertirse al formato OpenVINO IR antes de usarlos, lo que requiere un paso adicional de exportación.

En colecciones

Temas

Preguntas frecuentes

¿Qué es openvino.genai?

Biblioteca de C++, Python y Node.js para ejecutar modelos de IA generativa, como LLM, de imagen, voz y embeddings, con OpenVINO Runtime. OpenVINO GenAI es una biblioteca con pipelines listos para usar para modelos populares de IA generativa, desarrollada sobre OpenVINO Runtime. Ofrece API sencillas para C++, Python y Node.js, con las que los desarrolladores pueden ejecutar flujos de generación de texto, visión y lenguaje, generación de imágenes y videos, reconocimiento de voz con Whisper, conversión de texto a voz con SpeechT5, y generación de embeddings y reranking de texto, sin tener que ensamblar el pipeline del modelo por su cuenta.

¿openvino.genai es gratuito? ¿Qué licencia tiene?

openvino.genai es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.

¿openvino.genai sigue mantenido?

Mantenimiento activo. El último commit de openvino.genai fue el 22 oct 2026.

¿Para qué puedo usar openvino.genai?

Ejecutar un chatbot local con un LLM abierto en una laptop o computadora de escritorio Intel Generar imágenes o videos cortos con modelos Stable Diffusion o Flux en hardware local Crear un pipeline RAG con modelos locales de generación de embeddings y reranking de texto Añadir conversión de voz a texto sin conexión con Whisper a una aplicación de escritorio o C++

¿Cómo se instala openvino.genai?

Instala OpenVINO GenAI desde PyPI: pip install openvino-genai Exporta un modelo de Hugging Face al formato OpenVINO IR: optimum-cli export openvino --model TinyLlama/TinyLlama-1.1B-Chat-v1.0 --weight-format int4 --trust-remote-code TinyLlama_1_1b_v1_ov Ejecuta inferencias con LLMPipeline en Python: import openvino_genai as ov_genai pipe = ov_genai.LLMPipeline("TinyLlama_1_1b_v1_ov", "CPU") # Use CPU or GPU as devices without any other code change print(pipe.generate("What is OpenVINO?", max_new_tokens=100))

¿Dónde consigo openvino.genai?

El código fuente y las instrucciones de instalación están en GitHub: https://github.com/openvinotoolkit/openvino.genai