microsoft/onnxruntime-genai

O que é?

Recursos principais

• 01Implementa todo o ciclo de geração para LLMs ONNX, incluindo amostragem e gerenciamento do cache KV.
• 02Oferece APIs para Python, C# e C/C++, além de Java por meio de compilação a partir do código-fonte.
• 03Funciona em Linux, Windows, Mac e Android, nas arquiteturas x86, x64 e arm64.
• 04Oferece aceleração de hardware por meio de CUDA, DirectML, OpenVINO, QNN, WebGPU e outros.
• 05Oferece multi-LoRA, decodificação contínua e decodificação restrita.

Casos de uso

• Executar modelos de linguagem pequenos, como Phi ou Llama, localmente em um laptop ou dispositivo.
• Incorporar inferência de LLM em um aplicativo C# ou Windows usando o ONNX Runtime.
• Implantar modelos quantizados em NPUs ou GPUs de diferentes fabricantes usando uma única base de código.
• Impor formatos de saída estruturados ou gramáticas de chamadas de ferramentas durante a geração.

Início rápido

1. 1

   Baixe o modelo Phi-3 do Hugging Face

   huggingface-cli download microsoft/Phi-3-mini-4k-instruct-onnx --include cpu_and_mobile/cpu-int4-rtn-block-32-acc-level-4/* --local-dir .
2. 2

   Instale o numpy

   pip install numpy
3. 3

   Instale o pacote Python onnxruntime-genai

   pip install --pre onnxruntime-genai
4. 4

   Salve o exemplo de Python do README como um script e execute-o para gerar texto

Antes de usar

• !As vinculações para Java exigem compilação a partir do código-fonte.
• !Os exemplos na branch main podem não corresponder à versão estável mais recente.

Tópicos

Perguntas frequentes

O que é onnxruntime-genai?

Biblioteca C/C++ com bindings para Python, C# e Java que executa modelos de IA generativa no ONNX Runtime e gerencia todo o ciclo de geração de LLMs. ONNX Runtime GenAI é uma biblioteca para executar modelos de IA generativa com o ONNX Runtime. Ela implementa o ciclo de geração de modelos ONNX, incluindo pré e pós-processamento, inferência, processamento de logits, busca e amostragem, gerenciamento do cache KV e especificação de gramáticas para chamadas de ferramentas.

onnxruntime-genai é gratuito? Qual é a licença?

onnxruntime-genai é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.

onnxruntime-genai ainda é mantido?

Manutenção ativa. O último commit de onnxruntime-genai foi em 6 de nov. de 2026.

Para que posso usar onnxruntime-genai?

Executar modelos de linguagem pequenos, como Phi ou Llama, localmente em um laptop ou dispositivo. Incorporar inferência de LLM em um aplicativo C# ou Windows usando o ONNX Runtime. Implantar modelos quantizados em NPUs ou GPUs de diferentes fabricantes usando uma única base de código. Impor formatos de saída estruturados ou gramáticas de chamadas de ferramentas durante a geração.

Como instalar onnxruntime-genai?

Baixe o modelo Phi-3 do Hugging Face: huggingface-cli download microsoft/Phi-3-mini-4k-instruct-onnx --include cpu_and_mobile/cpu-int4-rtn-block-32-acc-level-4/* --local-dir . Instale o numpy: pip install numpy Instale o pacote Python onnxruntime-genai: pip install --pre onnxruntime-genai Salve o exemplo de Python do README como um script e execute-o para gerar texto

Onde consigo onnxruntime-genai?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/microsoft/onnxruntime-genai