Biblioteca e servidor rápidos e eficientes em memória para executar e servir modelos de linguagem grandes com uma API compatível com a OpenAI.
94,2 mil23,6 milPythonApache-2.0Atualizado ontem
iree-org/iree
Um compilador e runtime baseado em MLIR que reduz modelos de ML a uma IR unificada para implantação em datacenters, dispositivos móveis e de edge.
- Estrelas
- 3,986
- Forks
- 1,038
- Issues abertas
- 1,721
- Último commit
- há 3 horas
O que é?
O IREE é um compilador e runtime completo para modelos de machine learning, desenvolvido com base em MLIR. Ele reduz os modelos a uma representação intermediária unificada que pode atender desde cargas de trabalho em datacenters até as limitações de implantações em dispositivos móveis e de edge.
Os tópicos do projeto indicam as entradas e os destinos compatíveis, incluindo modelos de PyTorch, TensorFlow, JAX e ONNX, além de backends como CUDA, ROCm, Vulkan e SPIR-V. O nome significa Intermediate Representation Execution Environment.
O projeto é licenciado sob Apache 2.0 com exceções do LLVM e inclui pacotes Python (iree-base-compiler e iree-base-runtime) no PyPI, além de notas de versão no GitHub.
Recursos principais
- 01Reduz modelos de ML de frameworks como PyTorch, TensorFlow, JAX e ONNX a uma IR unificada baseada em MLIR.
- 02Tem como destino backends de GPU e aceleradores, incluindo CUDA, ROCm e Vulkan.
- 03Gera código SPIR-V para execução portátil em GPU.
- 04Oferece um runtime para executar modelos compilados.
- 05Disponibiliza pacotes Python para o compilador e o runtime.
Casos de uso
- Implantar um modelo treinado em GPUs de datacenter e em dispositivos móveis ou de edge usando uma única toolchain.
- Direcionar a inferência de ML para hardware Vulkan ou ROCm.
- Pesquisar otimizações de compiladores para cargas de trabalho de ML em MLIR.
Início rápido
- 1
Acesse o site do projeto para consultar os guias do usuário e as instruções para compilar a partir do código-fonte
Antes de usar
- O README não inclui um comando direto de instalação, então é necessário compilar a partir do código-fonte seguindo os guias do site.
- É uma stack de compilador e runtime, portanto começar a usá-la exige mais esforço do que uma biblioteca típica.
Tópicos
Perguntas frequentes
- O que é iree?
- Um compilador e runtime baseado em MLIR que reduz modelos de ML a uma IR unificada para implantação em datacenters, dispositivos móveis e de edge. O IREE é um compilador e runtime completo para modelos de machine learning, desenvolvido com base em MLIR. Ele reduz os modelos a uma representação intermediária unificada que pode atender desde cargas de trabalho em datacenters até as limitações de implantações em dispositivos móveis e de edge.
- iree é gratuito? Qual é a licença?
- iree é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- iree ainda é mantido?
- Manutenção ativa. O último commit de iree foi em 21 de out. de 2026.
- Para que posso usar iree?
- Implantar um modelo treinado em GPUs de datacenter e em dispositivos móveis ou de edge usando uma única toolchain. Direcionar a inferência de ML para hardware Vulkan ou ROCm. Pesquisar otimizações de compiladores para cargas de trabalho de ML em MLIR.
- Como instalar iree?
- Acesse o site do projeto para consultar os guias do usuário e as instruções para compilar a partir do código-fonte
- Onde consigo iree?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/iree-org/iree
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
SGLang é um framework open source de inferência para servir modelos de linguagem, visão-linguagem e difusão em diversas plataformas com GPU, TPU e CPU.
37,5 mil9,7 milPythonApache-2.0Atualizado ontem
Framework minimalista de deep learning com API de tensores no estilo PyTorch, autograd, compilador e suporte a vários backends de aceleradores.
33,8 mil4,4 milPythonMITAtualizado ontem
Execute modelos Transformers da Hugging Face diretamente no navegador ou em runtimes JavaScript, sem servidor, usando ONNX Runtime.
16,4 mil1,2 milJavaScriptApache-2.0Atualizado ontem
Biblioteca de tensores e framework de deep learning em Rust para treinamento e inferência em backends CUDA, ROCm, Metal, Vulkan, WebGPU e CPU.
16,1 mil1,1 milRustApache-2.0Atualizado há 13 horas
Um mecanismo de inferência MoE nativo de edge que executa modelos grandes de pesos abertos, como DeepSeek-V4 e Qwen3.6, em GPUs e CPUs de consumo.
14,6 mil1,5 milPythonApache-2.0Atualizado anteontem