Быстрая и эффективная по памяти библиотека и сервер для запуска и обслуживания больших языковых моделей через API, совместимый с OpenAI.
94,2 тыс.23,6 тыс.PythonApache-2.0Обновлён вчера
iree-org/iree
Компилятор и среда выполнения на базе MLIR, преобразующие ML-модели в единое IR для развертывания в дата-центрах, на мобильных и периферийных устройствах.
- Звёзды
- 3,986
- Форки
- 1,038
- Открытые issues
- 1,721
- Последний коммит
- 3 часа назад
Что это?
IREE — это сквозной компилятор и среда выполнения для моделей машинного обучения, созданные на базе MLIR. Он преобразует модели в единое промежуточное представление, которое подходит как для масштабных нагрузок в дата-центрах, так и для ограниченных ресурсов мобильных и периферийных устройств.
Темы проекта указывают на поддерживаемые форматы входных моделей и целевые платформы: среди источников — PyTorch, TensorFlow, JAX и ONNX, а среди бэкендов — CUDA, ROCm, Vulkan и SPIR-V. Название расшифровывается как Intermediate Representation Execution Environment.
Проект распространяется по лицензии Apache 2.0 с исключениями LLVM. На PyPI доступны Python-пакеты iree-base-compiler и iree-base-runtime, а на GitHub публикуются примечания к выпускам.
Ключевые возможности
- 01Преобразует ML-модели из таких фреймворков, как PyTorch, TensorFlow, JAX и ONNX, в единое IR на базе MLIR.
- 02Поддерживает GPU-бэкенды и ускорители, включая CUDA, ROCm и Vulkan.
- 03Генерирует код SPIR-V для переносимого выполнения на GPU.
- 04Предоставляет среду выполнения для скомпилированных моделей.
- 05Выпускает Python-пакеты для компилятора и среды выполнения.
Сценарии использования
- Развертывание обученной модели на GPU в дата-центрах, а также на мобильных и периферийных устройствах с помощью единого набора инструментов.
- Использование оборудования с поддержкой Vulkan или ROCm для инференса ML-моделей.
- Исследование оптимизаций компиляторов для ML-нагрузок на базе MLIR.
Быстрый старт
- 1
Откройте сайт проекта, чтобы ознакомиться с руководствами пользователя и инструкциями по сборке из исходного кода
Что важно знать
- В README нет прямой команды для установки, поэтому необходимо собрать проект из исходного кода, следуя инструкциям на сайте.
- Это стек компилятора и среды выполнения, поэтому начать работу с ним сложнее, чем с обычной библиотекой.
Темы
Частые вопросы
- Что такое iree?
- Компилятор и среда выполнения на базе MLIR, преобразующие ML-модели в единое IR для развертывания в дата-центрах, на мобильных и периферийных устройствах. IREE — это сквозной компилятор и среда выполнения для моделей машинного обучения, созданные на базе MLIR. Он преобразует модели в единое промежуточное представление, которое подходит как для масштабных нагрузок в дата-центрах, так и для ограниченных ресурсов мобильных и периферийных устройств.
- iree можно использовать бесплатно? Какая у него лицензия?
- iree распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- iree всё ещё поддерживается?
- Активно поддерживается. Последний коммит в iree — 21 окт. 2026 г..
- Для чего можно использовать iree?
- Развертывание обученной модели на GPU в дата-центрах, а также на мобильных и периферийных устройствах с помощью единого набора инструментов. Использование оборудования с поддержкой Vulkan или ROCm для инференса ML-моделей. Исследование оптимизаций компиляторов для ML-нагрузок на базе MLIR.
- Как установить iree?
- Откройте сайт проекта, чтобы ознакомиться с руководствами пользователя и инструкциями по сборке из исходного кода
- Где скачать iree?
- Исходный код и инструкции по установке — на GitHub: https://github.com/iree-org/iree
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
SGLang — открытый фреймворк для инференса больших языковых и мультимодальных моделей, а также diffusion-моделей на GPU, TPU и CPU разных платформ.
37,5 тыс.9,7 тыс.PythonApache-2.0Обновлён вчера
Минималистичный фреймворк для глубокого обучения с API тензоров в стиле PyTorch, autograd, компилятором и поддержкой множества ускорителей.
33,8 тыс.4,4 тыс.PythonMITОбновлён вчера
Запускайте модели Hugging Face Transformers прямо в браузере или JavaScript-среде без сервера — с помощью ONNX Runtime.
16,4 тыс.1,2 тыс.JavaScriptApache-2.0Обновлён вчера
Библиотека тензоров и фреймворк для глубокого обучения на Rust с обучением и инференсом на CUDA, ROCm, Metal, Vulkan, WebGPU и CPU.
16,1 тыс.1,1 тыс.RustApache-2.0Обновлён 12 часов назад
Нативный для edge-устройств движок для инференса MoE-моделей с открытыми весами, например DeepSeek-V4 и Qwen3.6, на потребительских GPU и CPU.
14,6 тыс.1,5 тыс.PythonApache-2.0Обновлён позавчера