cactus-compute/cactus

这是什么？

核心功能

• 01兼容 OpenAI 接口的本地 HTTP 服务与 C API，支持对话、流式输出和工具调用。
• 02在设备端完成语音转写和视觉语言模型推理。
• 03根据本地模型置信度自动切换到云端模型。
• 04自研 CQ 量化方案，支持 4 比特到 1 比特。
• 05针对 Apple、三星、Pixel 硬件的 ARM NEON 与 GPU 内核。
• 06提供 Swift、Kotlin、Flutter、React Native、Python、Rust 绑定。

适用场景

• 在移动或桌面应用中运行本地私有助手，无需把数据发送到服务器。
• 为可穿戴设备或智能手机应用增加离线语音转写功能。
• 在 Mac 上启动兼容 OpenAI 接口的本地服务，用于开发调试。
• 在智能家居设备或机器人上部署小型量化模型。

快速上手

1. 1

   通过 Homebrew 安装 Cactus（macOS）

   brew install cactus-compute/cactus/cactus
2. 2

   使用 Cactus 命令行运行模型

   cactus run

使用前须知

• !许可证不明确（元数据显示为 NOASSERTION），商业使用前请先查看仓库。
• !快速演示以 Mac 为例，基准测试表格也主要针对苹果设备。
• !任意 HuggingFace 模型的转换功能被标注为实验性，只有部分模型系列经过特别测试。

收录于专题

标签

常见问题

cactus 是什么？

面向手机、可穿戴设备、智能家居和机器人的端侧 AI 推理引擎与运行时，基于 C++ 实现。 Cactus 是一个面向手机和可穿戴设备的端云混合 AI 推理引擎。它提供兼容 OpenAI 接口的 API，支持对话补全、流式输出、工具调用、语音转写、向量嵌入、RAG 和视觉理解；当本地模型的置信度低于阈值时，可以自动把请求转交云端模型处理。

cactus 可以免费使用吗？用的什么许可证？

cactus 以 Other 许可证开源。用于商业产品前，请先确认许可证条款。

cactus 还在维护吗？

活跃维护中。cactus 最近一次提交是在 2026年9月26日。

cactus 适合用来做什么？

在移动或桌面应用中运行本地私有助手，无需把数据发送到服务器。 为可穿戴设备或智能手机应用增加离线语音转写功能。 在 Mac 上启动兼容 OpenAI 接口的本地服务，用于开发调试。 在智能家居设备或机器人上部署小型量化模型。

cactus 怎么安装和运行？

通过 Homebrew 安装 Cactus（macOS）: brew install cactus-compute/cactus/cactus 使用 Cactus 命令行运行模型: cactus run

在哪里获取 cactus？

源代码和安装说明在 GitHub 上：https://github.com/cactus-compute/cactus