Repolode
提交项目
trymirai

trymirai/uzu

一个用 Rust 编写的 AI 模型推理引擎，可将模型直接部署到应用中，支持 Apple 设备本地运行。

在 GitHub 查看官网
Star
2,459
Fork
148
未关闭 Issue
25
最近提交
8小时前

这是什么？

uzu 是一个推理引擎，用于在自己的应用内运行 AI 模型，目标是零网络延迟、数据不离开设备，并且没有按请求计费的推理成本。它提供高层级的聊天会话 API，并提供 Rust、Python、Swift 和 TypeScript 绑定，模型下载与推理配置由引擎自动完成。

在 Apple 设备上，引擎利用统一内存；项目以 Swift Package 形式支持 iOS、macOS 和 Mac Catalyst，同时提供 npm 与 PyPI 包。模型配置采用统一格式，新增模型支持遵循同一套模式，计算过程可追踪，便于与参考实现比对正确性。示例涵盖基础对话、流式输出、云端模型、共享模型实例、JSON Schema 结构化输出和工具调用。

每个已加载的模型可能占用较多内存，因此建议同一时间只保持一个聊天会话处于加载状态。文档说明了推理流程中各步骤的自定义方式。

核心功能

  • 01提供高层级聊天会话 API，支持 Rust、Python、Swift 和 TypeScript。
  • 02可在设备本地运行模型，并在 Apple 设备上利用统一内存。
  • 03支持通过 JSON Schema 约束输出结构化内容。
  • 04支持工具调用，让模型调用外部函数。
  • 05可在多个聊天会话之间复用同一个已加载的模型。
  • 06同时支持调用 OpenAI GPT-5 等云端模型。

适用场景

  • 在 iOS 或 macOS 应用中加入本地运行的大模型对话功能，无需把用户数据发送到服务器。
  • 让本地模型生成 JSON 格式的回复，便于后续解析处理。
  • 构建让模型调用本地函数（例如获取设备位置）的应用。

快速上手

  1. 1

    使用 uv 添加 Python 包

    uv add uzu==0.6.11
  2. 2

    按照 README 中的 Python 示例创建引擎、加载模型、下载并启动聊天会话

使用前须知

  • 核心推理主要面向 Apple 设备，本地执行仅适用于 iOS 和 macOS。
  • 云端模型选项需要依赖外部服务，并非完全本地推理。
  • Rust 版本从 git 分支引入，而非稳定的 crates.io 发布版本。

标签

#inference#llm#rust#on-device-ai#apple-silicon#metal#swift#tts#ai#high-performance

常见问题

uzu 是什么？
一个用 Rust 编写的 AI 模型推理引擎，可将模型直接部署到应用中，支持 Apple 设备本地运行。 uzu 是一个推理引擎，用于在自己的应用内运行 AI 模型，目标是零网络延迟、数据不离开设备，并且没有按请求计费的推理成本。它提供高层级的聊天会话 API，并提供 Rust、Python、Swift 和 TypeScript 绑定，模型下载与推理配置由引擎自动完成。
uzu 可以免费使用吗？用的什么许可证？
uzu 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。
uzu 还在维护吗？
活跃维护中。uzu 最近一次提交是在 2026年10月21日。
uzu 适合用来做什么？
在 iOS 或 macOS 应用中加入本地运行的大模型对话功能，无需把用户数据发送到服务器。 让本地模型生成 JSON 格式的回复，便于后续解析处理。 构建让模型调用本地函数（例如获取设备位置）的应用。
uzu 怎么安装和运行？
使用 uv 添加 Python 包: uv add uzu==0.6.11 按照 README 中的 Python 示例创建引擎、加载模型、下载并启动聊天会话
在哪里获取 uzu？
源代码和安装说明在 GitHub 上：https://github.com/trymirai/uzu

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目