qualcomm/GenieX

这是什么？

核心功能

• 01通过 llama.cpp 在 Hexagon NPU、Adreno GPU 或 CPU 上运行 GGUF 模型。
• 02在 NPU 上运行 Qualcomm AI Hub 预编译模型包。
• 03提供命令行工具、Python 接口、Android SDK 和 Docker 镜像。
• 04提供兼容 OpenAI 接口的本地服务，现有客户端无需修改代码。
• 05同时支持大语言模型和视觉语言模型。

适用场景

• 在骁龙笔记本上离线运行本地对话或助手，无需调用云端接口。
• 用 Kotlin/Java SDK 为 Android 应用加入端侧大模型功能。
• 在 ARM Linux 物联网设备上，让已有的 OpenAI 客户端代码直接连接本地模型服务。
• 比较 GGUF 模型在高通 NPU、CPU 与 GPU 上的运行表现。

快速上手

1. 1

   安装 Python 包

   pip install geniex
2. 2

   运行 Python 示例与模型对话

3. 3

   或在命令行中与模型对话

   geniex infer google/gemma-4-E4B-it-qat-q4_0-gguf

使用前须知

• !仅支持高通 Snapdragon 设备。
• !当前处于开发者预览阶段，接口可能发生变化。
• !Linux 上的 CLI 安装需要运行 README 提供的 curl 管道脚本，需手动执行。

标签

常见问题

GenieX 是什么？

面向高通骁龙设备的端侧大模型与视觉语言模型推理运行时，可调用 NPU、GPU 或 CPU 本地运行。 GenieX 是面向高通骁龙设备的端侧生成式 AI 推理运行时。它通过 llama.cpp 运行来自 Hugging Face、ModelScope 或 Docker Hub 的 GGUF 模型，可调度 Hexagon NPU、Adreno GPU 或 CPU；预编译的 Qualcomm AI Hub 模型包则通过 Qualcomm AI Engine Direct 运行时在 NPU 上执行。

GenieX 可以免费使用吗？用的什么许可证？

GenieX 以 BSD-3-Clause 许可证开源。用于商业产品前，请先确认许可证条款。

GenieX 还在维护吗？

活跃维护中。GenieX 最近一次提交是在 2026年10月21日。

GenieX 适合用来做什么？

在骁龙笔记本上离线运行本地对话或助手，无需调用云端接口。 用 Kotlin/Java SDK 为 Android 应用加入端侧大模型功能。 在 ARM Linux 物联网设备上，让已有的 OpenAI 客户端代码直接连接本地模型服务。 比较 GGUF 模型在高通 NPU、CPU 与 GPU 上的运行表现。

GenieX 怎么安装和运行？

安装 Python 包: pip install geniex 运行 Python 示例与模型对话 或在命令行中与模型对话: geniex infer google/gemma-4-E4B-it-qat-q4_0-gguf

在哪里获取 GenieX？

源代码和安装说明在 GitHub 上：https://github.com/qualcomm/GenieX