RunanywhereAI/runanywhere-sdks

这是什么？

核心功能

• 01在设备本地运行大语言模型、视觉语言模型、语音识别、语音合成、向量嵌入和扩散模型。
• 02根据硬件把推理路由到 QHexRT、MLX、llama.cpp、sherpa/ONNX、Core ML 等引擎。
• 03Swift、Kotlin、Flutter、React Native、Web、Electron 和 Python 共用同一套 API。
• 04支持结构化 JSON 输出、工具调用以及基于本地文档的 RAG。
• 05Python SDK 和 wally 命令行工具可提供兼容 OpenAI 接口的本地服务。

适用场景

• 在手机上构建离线语音助手，本地完成语音识别、大模型推理和语音合成。
• 在桌面应用中加入私有文档问答，文件无需上传到云端 API。
• 为已有 OpenAI 客户端代码提供本地模型的兼容接口。
• 在移动应用中运行本地视觉语言模型，实现基于摄像头的画面描述。

快速上手

1. 1

   从 PyPI 安装 Python 包

   pip install runanywhere
2. 2

   初始化 SDK，并运行 README 中的 Python 示例生成文本（模型首次使用时自动下载）

使用前须知

• !许可证并非标准开源许可证，元数据中标记为 NOASSERTION，商业使用前请先查看 LICENSE 文件。
• !部分功能依赖平台或后端，CUDA 需要通过可选的源码构建启用。
• !Electron 桌面绑定以 Windows 为主，仅提供 win32-x64 的预编译插件。

收录于专题

标签

常见问题

runanywhere-sdks 是什么？

跨平台 SDK，可在手机、浏览器、桌面和服务器上完全本地运行大模型、语音、视觉和图像生成。 RunAnywhere 以 C++ 核心为底座，提供 Swift、Kotlin、Flutter、React Native、Web、Electron 和 Python 绑定。应用可以直接在设备上运行大语言模型、视觉语言模型、语音识别、语音合成、语音活动检测、向量嵌入、RAG 以及扩散式图像生成，数据无需发送到服务器。

runanywhere-sdks 可以免费使用吗？用的什么许可证？

runanywhere-sdks 以 Other 许可证开源。用于商业产品前，请先确认许可证条款。

runanywhere-sdks 还在维护吗？

活跃维护中。runanywhere-sdks 最近一次提交是在 2026年11月5日。

runanywhere-sdks 适合用来做什么？

在手机上构建离线语音助手，本地完成语音识别、大模型推理和语音合成。 在桌面应用中加入私有文档问答，文件无需上传到云端 API。 为已有 OpenAI 客户端代码提供本地模型的兼容接口。 在移动应用中运行本地视觉语言模型，实现基于摄像头的画面描述。

runanywhere-sdks 怎么安装和运行？

从 PyPI 安装 Python 包: pip install runanywhere 初始化 SDK，并运行 README 中的 Python 示例生成文本（模型首次使用时自动下载）

在哪里获取 runanywhere-sdks？

源代码和安装说明在 GitHub 上：https://github.com/RunanywhereAI/runanywhere-sdks