mlc-ai/mlc-llm

这是什么？

核心功能

• 01通过 Vulkan、CUDA、ROCm 和 Metal 在 NVIDIA、AMD、Apple、Intel 等 GPU 上运行 LLM。
• 02基于 WebGPU 和 WASM 在浏览器中运行模型。
• 03支持 iOS 和 Android 设备部署。
• 04提供兼容 OpenAI 的 API，可通过 REST 服务、Python 和 JavaScript 调用。
• 05基于机器学习编译器，为每个目标平台优化模型。

适用场景

• 在不同厂商的笔记本或工作站上部署本地 LLM。
• 无需后端服务，直接在网页中运行语言模型。
• 在 iOS 或 Android 应用中集成端侧大模型功能。
• 将 OpenAI API 调用替换为自托管的兼容端点。

快速上手

1. 1

   阅读官方快速入门和安装指南

2. 2

   按照文档开始使用 MLC LLM

使用前须知

• !安装和配置说明只在外部网站上提供，README 本身没有包含。
• !不同硬件的平台支持存在差异，例如 Linux/Windows 上没有 Apple GPU 支持。

标签

常见问题

mlc-llm 是什么？

基于机器学习编译的大语言模型部署引擎，可在多种 GPU、浏览器和移动设备上原生运行 LLM。 MLC LLM 是一个面向大语言模型的机器学习编译器和高性能推理引擎，目标是让开发者在各类硬件上原生构建、优化和部署模型，而不依赖单一厂商的技术栈。

mlc-llm 可以免费使用吗？用的什么许可证？

mlc-llm 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

mlc-llm 还在维护吗？

活跃维护中。mlc-llm 最近一次提交是在 2026年10月6日。

mlc-llm 适合用来做什么？

在不同厂商的笔记本或工作站上部署本地 LLM。 无需后端服务，直接在网页中运行语言模型。 在 iOS 或 Android 应用中集成端侧大模型功能。 将 OpenAI API 调用替换为自托管的兼容端点。

mlc-llm 怎么安装和运行？

阅读官方快速入门和安装指南 按照文档开始使用 MLC LLM

在哪里获取 mlc-llm？

源代码和安装说明在 GitHub 上：https://github.com/mlc-ai/mlc-llm