OpenAI 호환 API로 대규모 언어 모델을 빠르고 메모리 효율적으로 실행하고 서빙하는 라이브러리 및 서버입니다.
iree-org/iree
MLIR 기반 컴파일러 및 런타임으로, ML 모델을 통합 IR로 낮춰 데이터센터부터 모바일 및 엣지 기기까지 배포할 수 있습니다.
- 스타
- 3,986
- 포크
- 1,038
- 열린 이슈
- 1,721
- 마지막 커밋
- 5시간 전
어떤 프로젝트인가요?
IREE는 MLIR을 기반으로 구축된 머신러닝 모델용 엔드투엔드 컴파일러 및 런타임입니다. 모델을 통합 중간 표현으로 낮춰 데이터센터 워크로드부터 모바일 및 엣지 배포 환경의 제약까지 아우를 수 있습니다.
프로젝트 주제에는 지원되는 입력과 타깃이 나와 있습니다. PyTorch, TensorFlow, JAX, ONNX 모델과 CUDA, ROCm, Vulkan, SPIR-V 등의 백엔드를 지원합니다. 이름은 Intermediate Representation Execution Environment의 약자입니다.
이 프로젝트는 LLVM 예외 조항이 포함된 Apache 2.0 라이선스로 배포되며, PyPI에 Python 패키지(iree-base-compiler 및 iree-base-runtime)를 제공하고 GitHub에 릴리스 노트를 게시합니다.
핵심 기능
- 01PyTorch, TensorFlow, JAX, ONNX 등의 프레임워크에서 가져온 ML 모델을 통합 MLIR 기반 IR로 낮춥니다.
- 02CUDA, ROCm, Vulkan 등을 포함한 GPU 및 가속기 백엔드를 대상으로 합니다.
- 03이식성 있는 GPU 실행을 위한 SPIR-V 코드를 생성합니다.
- 04컴파일된 모델을 실행하는 런타임을 제공합니다.
- 05컴파일러와 런타임용 Python 패키지를 제공합니다.
활용 사례
- 하나의 툴체인으로 학습된 모델을 데이터센터 GPU와 모바일 또는 엣지 기기에 배포합니다.
- ML 추론을 위해 Vulkan 또는 ROCm 하드웨어를 대상으로 합니다.
- MLIR에서 ML 워크로드를 위한 컴파일러 최적화를 연구합니다.
빠른 시작
- 1
사용자 가이드와 소스에서 빌드하는 방법은 프로젝트 웹사이트에서 확인하세요
사용 전 알아둘 점
- README에 바로 사용할 수 있는 설치 명령이 없으므로 웹사이트 가이드를 따라 소스에서 빌드해야 합니다.
- 컴파일러와 런타임 스택이므로 일반적인 라이브러리보다 시작하는 데 더 많은 노력이 필요합니다.
토픽
자주 묻는 질문
- iree은(는) 무엇인가요?
- MLIR 기반 컴파일러 및 런타임으로, ML 모델을 통합 IR로 낮춰 데이터센터부터 모바일 및 엣지 기기까지 배포할 수 있습니다. IREE는 MLIR을 기반으로 구축된 머신러닝 모델용 엔드투엔드 컴파일러 및 런타임입니다. 모델을 통합 중간 표현으로 낮춰 데이터센터 워크로드부터 모바일 및 엣지 배포 환경의 제약까지 아우를 수 있습니다.
- iree은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- iree은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- iree은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. iree의 마지막 커밋은 2026년 10월 21일입니다.
- iree은(는) 어디에 사용할 수 있나요?
- 하나의 툴체인으로 학습된 모델을 데이터센터 GPU와 모바일 또는 엣지 기기에 배포합니다. ML 추론을 위해 Vulkan 또는 ROCm 하드웨어를 대상으로 합니다. MLIR에서 ML 워크로드를 위한 컴파일러 최적화를 연구합니다.
- iree는 어떻게 설치하나요?
- 사용자 가이드와 소스에서 빌드하는 방법은 프로젝트 웹사이트에서 확인하세요
- iree은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/iree-org/iree
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
SGLang은 다양한 GPU, TPU, CPU 플랫폼에서 대규모 언어·비전 언어·디퓨전 모델을 서빙하는 오픈소스 추론 프레임워크입니다.
PyTorch와 유사한 텐서 API, autograd, 컴파일러와 다양한 가속기 백엔드를 지원하는 경량 딥러닝 프레임워크입니다.
ONNX Runtime을 사용해 서버 없이 브라우저나 JavaScript 런타임에서 Hugging Face Transformers 모델을 실행합니다.
CUDA, ROCm, Metal, Vulkan, WebGPU 및 CPU 백엔드에서 학습과 추론을 지원하는 Rust 텐서 라이브러리이자 딥러닝 프레임워크입니다.
소비자용 GPU와 CPU에서 DeepSeek-V4, Qwen3.6 같은 대형 오픈 웨이트 모델을 실행하는 엣지 네이티브 MoE 서빙 엔진입니다.