Repolode
openvinotoolkit

openvinotoolkit/openvino

Toolkit de código aberto para otimizar e implantar modelos de deep learning para inferência em CPUs, GPUs e NPUs Intel.

Estrelas
11,028
Forks
3,472
Issues abertas
883
Último commit
há 5 horas

O que é?

O OpenVINO é um toolkit de código aberto do projeto OpenVINO para otimizar e implantar inferência de IA. Ele recebe modelos treinados em frameworks como PyTorch, TensorFlow, ONNX, Keras, PaddlePaddle e JAX/Flax, converte-os sem exigir o framework original no momento da implantação e os executa com eficiência em hardware compatível.

Os alvos de inferência incluem CPUs x86 e ARM, GPUs integradas e dedicadas da Intel e NPUs Intel. O projeto oferece APIs em C++, Python, C e NodeJS, além de uma API GenAI para pipelines de modelos LLM e de difusão. Modelos do Hugging Face Hub podem ser usados por meio do Optimum Intel.

O ecossistema inclui o Neural Network Compression Framework (NNCF), para quantização e esparsidade, o OpenVINO Model Server, para servir modelos, e integrações com vLLM, ONNX Runtime, LangChain, LlamaIndex e torch.compile.

Recursos principais

  • 01Converte modelos de PyTorch, TensorFlow, ONNX, Keras, PaddlePaddle e JAX/Flax para inferência.
  • 02Executa inferências em CPUs, GPUs e NPUs Intel, incluindo CPUs x86 e ARM.
  • 03Oferece APIs em C++, Python, C e NodeJS.
  • 04Inclui uma API GenAI para pipelines de modelos LLM e de difusão.
  • 05Oferece técnicas de compressão de modelos, como quantização e esparsidade, por meio do NNCF.

Casos de uso

  • Implantar modelos de visão computacional, como YOLO, em hardware Intel de borda ou de servidor.
  • Executar chatbots locais com LLMs ou pipelines de texto para imagem em CPUs ou GPUs Intel.
  • Acelerar modelos de reconhecimento de fala, como Whisper, em dispositivos compatíveis.
  • Integrar inferência otimizada a fluxos de trabalho existentes com ONNX Runtime ou vLLM.

Início rápido

  1. 1

    Instale o OpenVINO com pip

    pip install -U openvino
  2. 2

    Verifique a instalação exibindo a versão

    python -c "import openvino as ov; print(ov.__version__)"

Antes de usar

  • É voltado para hardware Intel (CPU, GPU, NPU) para obter os melhores resultados; em outros aceleradores, os benefícios são limitados.

Tópicos

Perguntas frequentes

O que é openvino?
Toolkit de código aberto para otimizar e implantar modelos de deep learning para inferência em CPUs, GPUs e NPUs Intel. O OpenVINO é um toolkit de código aberto do projeto OpenVINO para otimizar e implantar inferência de IA. Ele recebe modelos treinados em frameworks como PyTorch, TensorFlow, ONNX, Keras, PaddlePaddle e JAX/Flax, converte-os sem exigir o framework original no momento da implantação e os executa com eficiência em hardware compatível.
openvino é gratuito? Qual é a licença?
openvino é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
openvino ainda é mantido?
Manutenção ativa. O último commit de openvino foi em 20 de out. de 2026.
Para que posso usar openvino?
Implantar modelos de visão computacional, como YOLO, em hardware Intel de borda ou de servidor. Executar chatbots locais com LLMs ou pipelines de texto para imagem em CPUs ou GPUs Intel. Acelerar modelos de reconhecimento de fala, como Whisper, em dispositivos compatíveis. Integrar inferência otimizada a fluxos de trabalho existentes com ONNX Runtime ou vLLM.
Como instalar openvino?
Instale o OpenVINO com pip: pip install -U openvino Verifique a instalação exibindo a versão: python -c "import openvino as ov; print(ov.__version__)"
Onde consigo openvino?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/openvinotoolkit/openvino

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados