google-ai-edge/LiteRT-LM

这是什么？

核心功能

• 01支持 Android、iOS、Web、桌面和树莓派等平台。
• 02利用 GPU 与 NPU 加速器进行推理。
• 03除文本外支持图像和音频输入。
• 04提供工具调用（function calling），便于构建智能体流程。
• 05提供兼容 OpenAI 接口的服务端，包括 embedding 端点。
• 06提供 Python、Kotlin、Swift、JavaScript 和 C++ 接口。

适用场景

• 开发可离线运行聊天模型的 Android 或 iOS 应用。
• 在笔记本或树莓派上通过命令行运行本地大模型。
• 在无云端后端的应用中加入端侧工具调用功能。
• 通过 OpenAI 风格的 API 提供本地 embedding 模型服务。

快速上手

1. 1

   使用 uv 安装 LiteRT-LM 命令行工具

   uv tool install litert-lm
2. 2

   在终端中从 Hugging Face 运行 Gemma 3n 模型

   litert-lm run \ --from-huggingface-repo=google/gemma-3n-E2B-it-litert-lm \ gemma-3n-E2B-it-int4 \ --prompt="What is the capital of France?"

使用前须知

• !Swift 和 JavaScript 接口处于早期预览阶段。
• !Flutter 支持由社区维护，而非官方提供。

标签

常见问题

LiteRT-LM 是什么？

谷歌开源的大语言模型端侧推理框架，支持 Android、iOS、Web、桌面与树莓派。 LiteRT-LM 是一个基于 LiteRT（谷歌的端侧推理运行时）的大语言模型编排层，用于在手机、浏览器、桌面和物联网设备上本地运行 Gemma、Llama、Phi-4、Qwen 等模型，而无需调用云端 API。

LiteRT-LM 可以免费使用吗？用的什么许可证？

LiteRT-LM 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

LiteRT-LM 还在维护吗？

活跃维护中。LiteRT-LM 最近一次提交是在 2026年10月22日。

LiteRT-LM 适合用来做什么？

开发可离线运行聊天模型的 Android 或 iOS 应用。 在笔记本或树莓派上通过命令行运行本地大模型。 在无云端后端的应用中加入端侧工具调用功能。 通过 OpenAI 风格的 API 提供本地 embedding 模型服务。

LiteRT-LM 怎么安装和运行？

使用 uv 安装 LiteRT-LM 命令行工具: uv tool install litert-lm 在终端中从 Hugging Face 运行 Gemma 3n 模型: litert-lm run \ --from-huggingface-repo=google/gemma-3n-E2B-it-litert-lm \ gemma-3n-E2B-it-int4 \ --prompt="What is the capital of France?"

在哪里获取 LiteRT-LM？

源代码和安装说明在 GitHub 上：https://github.com/google-ai-edge/LiteRT-LM