Biblioteca y servidor rápidos y eficientes en memoria para ejecutar y servir modelos de lenguaje grandes mediante una API compatible con OpenAI.
94,2 mil23,6 milPythonApache-2.0Actualizado ayer
iree-org/iree
Compilador y runtime basados en MLIR que traducen modelos de ML a una IR unificada para desplegarlos desde centros de datos hasta dispositivos móviles y edge.
- Estrellas
- 3,986
- Forks
- 1,038
- Issues abiertos
- 1,721
- Último commit
- hace 3 horas
¿Qué es?
IREE es un compilador y runtime integral para modelos de machine learning, desarrollado sobre MLIR. Traduce los modelos a una representación intermedia unificada que puede adaptarse tanto a las cargas de trabajo de centros de datos como a las limitaciones de los despliegues móviles y edge.
Los temas del proyecto indican las entradas y los destinos compatibles, incluidos modelos de PyTorch, TensorFlow, JAX y ONNX, y backends como CUDA, ROCm, Vulkan y SPIR-V. El nombre significa Intermediate Representation Execution Environment.
El proyecto está licenciado bajo Apache 2.0 con excepciones de LLVM e incluye paquetes de Python (iree-base-compiler e iree-base-runtime) en PyPI, además de notas de versión en GitHub.
Funciones clave
- 01Traduce modelos de ML de frameworks como PyTorch, TensorFlow, JAX y ONNX a una IR unificada basada en MLIR.
- 02Admite backends de GPU y aceleradores, incluidos CUDA, ROCm y Vulkan.
- 03Genera código SPIR-V para ejecutar cargas de trabajo de forma portable en GPU.
- 04Proporciona un runtime para ejecutar modelos compilados.
- 05Distribuye paquetes de Python para el compilador y el runtime.
Casos de uso
- Desplegar un modelo entrenado en GPU de centros de datos y en dispositivos móviles o edge con una sola cadena de herramientas.
- Usar hardware Vulkan o ROCm para inferencia de ML.
- Investigar optimizaciones de compiladores para cargas de trabajo de ML en MLIR.
Inicio rápido
- 1
Visita el sitio web del proyecto para consultar las guías de usuario y las instrucciones para compilar desde el código fuente
Antes de usarlo
- El README no incluye un comando de instalación directo, así que debes compilar desde el código fuente siguiendo las guías del sitio web.
- Es una pila de compilador y entorno de ejecución, por lo que empezar requiere más esfuerzo que con una biblioteca típica.
Temas
Preguntas frecuentes
- ¿Qué es iree?
- Compilador y runtime basados en MLIR que traducen modelos de ML a una IR unificada para desplegarlos desde centros de datos hasta dispositivos móviles y edge. IREE es un compilador y runtime integral para modelos de machine learning, desarrollado sobre MLIR. Traduce los modelos a una representación intermedia unificada que puede adaptarse tanto a las cargas de trabajo de centros de datos como a las limitaciones de los despliegues móviles y edge.
- ¿iree es gratuito? ¿Qué licencia tiene?
- iree es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿iree sigue mantenido?
- Mantenimiento activo. El último commit de iree fue el 21 oct 2026.
- ¿Para qué puedo usar iree?
- Desplegar un modelo entrenado en GPU de centros de datos y en dispositivos móviles o edge con una sola cadena de herramientas. Usar hardware Vulkan o ROCm para inferencia de ML. Investigar optimizaciones de compiladores para cargas de trabajo de ML en MLIR.
- ¿Cómo se instala iree?
- Visita el sitio web del proyecto para consultar las guías de usuario y las instrucciones para compilar desde el código fuente
- ¿Dónde consigo iree?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/iree-org/iree
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
SGLang es un framework de inferencia de código abierto para servir modelos de lenguaje, visión y difusión en diversas plataformas GPU, TPU y CPU.
37,5 mil9,7 milPythonApache-2.0Actualizado ayer
Un framework minimalista de deep learning con una API de tensores similar a PyTorch, autograd, un compilador y compatibilidad con numerosos aceleradores.
33,8 mil4,4 milPythonMITActualizado ayer
Ejecuta modelos Transformers de Hugging Face directamente en el navegador o en entornos de JavaScript, sin servidor y mediante ONNX Runtime.
16,4 mil1,2 milJavaScriptApache-2.0Actualizado ayer
Biblioteca de tensores y framework de deep learning en Rust para entrenamiento e inferencia con backends CUDA, ROCm, Metal, Vulkan, WebGPU y CPU.
16,1 mil1,1 milRustApache-2.0Actualizado hace 13 horas
Un motor de serving nativo para el edge que ejecuta grandes modelos de pesos abiertos, como DeepSeek-V4 y Qwen3.6, en GPU y CPU de consumo.
14,6 mil1,5 milPythonApache-2.0Actualizado anteayer