microsoft/onnxruntime-genai

Что это?

Ключевые возможности

• 01Реализует полный цикл генерации для ONNX LLM, включая сэмплирование и управление KV cache.
• 02Предоставляет API для Python, C# и C/C++; Java доступна при сборке из исходного кода.
• 03Работает на Linux, Windows, Mac и Android с архитектурами x86, x64 и arm64.
• 04Поддерживает аппаратное ускорение с помощью CUDA, DirectML, OpenVINO, QNN, WebGPU и других технологий.
• 05Поддерживает multi-LoRA, непрерывное декодирование и декодирование с ограничениями.

Сценарии использования

• Локальный запуск небольших языковых моделей, таких как Phi или Llama, на ноутбуке или устройстве.
• Встраивание инференса LLM в приложение для C# или Windows с помощью ONNX Runtime.
• Развёртывание квантованных моделей на NPU или GPU разных производителей на общей кодовой базе.
• Задание грамматик для структурированного вывода или вызова инструментов во время генерации.

Быстрый старт

1. 1

   Скачайте модель Phi-3 с Hugging Face

   huggingface-cli download microsoft/Phi-3-mini-4k-instruct-onnx --include cpu_and_mobile/cpu-int4-rtn-block-32-acc-level-4/* --local-dir .
2. 2

   Установите numpy

   pip install numpy
3. 3

   Установите пакет Python onnxruntime-genai

   pip install --pre onnxruntime-genai
4. 4

   Сохраните пример кода на Python из README в виде скрипта и запустите его для генерации текста

Что важно знать

• !Для использования Java-привязок необходимо выполнить сборку из исходного кода.
• !Примеры в ветке main могут отличаться от последнего стабильного выпуска.

Темы

Частые вопросы

Что такое onnxruntime-genai?

Библиотека C/C++ с привязками для Python, C# и Java, которая запускает генеративные AI-модели на ONNX Runtime и обрабатывает весь цикл генерации LLM. ONNX Runtime GenAI — библиотека для запуска генеративных AI-моделей с помощью ONNX Runtime. Она реализует цикл генерации для моделей ONNX: предварительную и последующую обработку, инференс, обработку logits, поиск и сэмплирование, управление KV cache и задание грамматики для вызова инструментов.

onnxruntime-genai можно использовать бесплатно? Какая у него лицензия?

onnxruntime-genai распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

onnxruntime-genai всё ещё поддерживается?

Активно поддерживается. Последний коммит в onnxruntime-genai — 7 нояб. 2026 г..

Для чего можно использовать onnxruntime-genai?

Локальный запуск небольших языковых моделей, таких как Phi или Llama, на ноутбуке или устройстве. Встраивание инференса LLM в приложение для C# или Windows с помощью ONNX Runtime. Развёртывание квантованных моделей на NPU или GPU разных производителей на общей кодовой базе. Задание грамматик для структурированного вывода или вызова инструментов во время генерации.

Как установить onnxruntime-genai?

Скачайте модель Phi-3 с Hugging Face: huggingface-cli download microsoft/Phi-3-mini-4k-instruct-onnx --include cpu_and_mobile/cpu-int4-rtn-block-32-acc-level-4/* --local-dir . Установите numpy: pip install numpy Установите пакет Python onnxruntime-genai: pip install --pre onnxruntime-genai Сохраните пример кода на Python из README в виде скрипта и запустите его для генерации текста

Где скачать onnxruntime-genai?

Исходный код и инструкции по установке — на GitHub: https://github.com/microsoft/onnxruntime-genai