microsoft/onnxruntime-genai

¿Qué es?

Funciones clave

• 01Implementa el ciclo completo de generación de LLM de ONNX, incluido el muestreo y la gestión de la caché KV.
• 02Ofrece APIs para Python, C# y C/C++, además de Java mediante compilación desde el código fuente.
• 03Se ejecuta en Linux, Windows, Mac y Android, en arquitecturas x86, x64 y arm64.
• 04Admite aceleración por hardware mediante CUDA, DirectML, OpenVINO, QNN, WebGPU y otras tecnologías.
• 05Ofrece multi-LoRA, decodificación continua y decodificación restringida.

Casos de uso

• Ejecutar localmente modelos de lenguaje pequeños, como Phi o Llama, en una laptop o dispositivo.
• Integrar inferencia de LLM en una aplicación de C# o Windows mediante ONNX Runtime.
• Implementar modelos cuantizados en NPUs o GPUs de distintos proveedores con una única base de código.
• Exigir salidas estructuradas o gramáticas para llamadas a herramientas durante la generación.

Inicio rápido

1. 1

   Descarga el modelo Phi-3 desde Hugging Face

   huggingface-cli download microsoft/Phi-3-mini-4k-instruct-onnx --include cpu_and_mobile/cpu-int4-rtn-block-32-acc-level-4/* --local-dir .
2. 2

   Instala numpy

   pip install numpy
3. 3

   Instala el paquete de Python onnxruntime-genai

   pip install --pre onnxruntime-genai
4. 4

   Guarda el ejemplo de Python del README como un script y ejecútalo para generar texto

Antes de usarlo

• !Para usar los enlaces de Java, es necesario compilar desde el código fuente.
• !Es posible que los ejemplos de la rama main no coincidan con la versión estable más reciente.

Temas

Preguntas frecuentes

¿Qué es onnxruntime-genai?

Biblioteca C/C++ con bindings para Python, C# y Java que ejecuta modelos de IA generativa en ONNX Runtime y gestiona todo el ciclo de generación de LLM. ONNX Runtime GenAI es una biblioteca para ejecutar modelos de IA generativa con ONNX Runtime. Implementa el ciclo de generación de modelos ONNX e incluye preprocesamiento y posprocesamiento, inferencia, procesamiento de logits, búsqueda y muestreo, gestión de la caché KV y especificación de gramáticas para llamadas a herramientas.

¿onnxruntime-genai es gratuito? ¿Qué licencia tiene?

onnxruntime-genai es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.

¿onnxruntime-genai sigue mantenido?

Mantenimiento activo. El último commit de onnxruntime-genai fue el 7 nov 2026.

¿Para qué puedo usar onnxruntime-genai?

Ejecutar localmente modelos de lenguaje pequeños, como Phi o Llama, en una laptop o dispositivo. Integrar inferencia de LLM en una aplicación de C# o Windows mediante ONNX Runtime. Implementar modelos cuantizados en NPUs o GPUs de distintos proveedores con una única base de código. Exigir salidas estructuradas o gramáticas para llamadas a herramientas durante la generación.

¿Cómo se instala onnxruntime-genai?

Descarga el modelo Phi-3 desde Hugging Face: huggingface-cli download microsoft/Phi-3-mini-4k-instruct-onnx --include cpu_and_mobile/cpu-int4-rtn-block-32-acc-level-4/* --local-dir . Instala numpy: pip install numpy Instala el paquete de Python onnxruntime-genai: pip install --pre onnxruntime-genai Guarda el ejemplo de Python del README como un script y ejecútalo para generar texto

¿Dónde consigo onnxruntime-genai?

El código fuente y las instrucciones de instalación están en GitHub: https://github.com/microsoft/onnxruntime-genai