qualcomm/GenieX

Что это?

Ключевые возможности

• 01Запускает модели GGUF на Hexagon NPU, Adreno GPU или CPU через llama.cpp.
• 02Запускает предварительно скомпилированные бандлы Qualcomm AI Hub на NPU.
• 03Предоставляет CLI, API для Python, Android SDK и Docker-образ.
• 04Предоставляет API, совместимый с OpenAI, на локальном адресе.
• 05Поддерживает LLM и VLM.

Сценарии использования

• Запуск локального чата или ассистента на ноутбуке с Snapdragon без обращения к облаку.
• Добавление функций на базе LLM, работающих на устройстве, в Android-приложение с помощью Kotlin/Java SDK.
• Подключение существующего кода с OpenAI-клиентом к локально запущенной модели на IoT-устройстве с ARM Linux.
• Сравнение производительности моделей GGUF на Qualcomm NPU и CPU или GPU.

Быстрый старт

1. 1

   Установите пакет Python

   pip install geniex
2. 2

   Запустите пример на Python, чтобы общаться с моделью

3. 3

   Или общайтесь из командной строки

   geniex infer google/gemma-4-E4B-it-qat-q4_0-gguf

Что важно знать

• !Работает только на устройствах Qualcomm Snapdragon.
• !Статус — Developer Preview, поэтому интерфейсы могут измениться.
• !Для установки Linux CLI используется скрипт curl-to-shell, приведённый в README. Его нужно запустить вручную.

Темы

Частые вопросы

Что такое GenieX?

Среда для локального запуска LLM и VLM на устройствах Qualcomm Snapdragon: выполняет модели на NPU, GPU или CPU через CLI, Python, Android, Docker либо совместимый с OpenAI сервер. GenieX — среда для локального запуска генеративных ИИ-моделей на оборудовании Qualcomm Snapdragon. Она запускает модели GGUF из Hugging Face, ModelScope или Docker Hub через llama.cpp на Hexagon NPU, Adreno GPU или CPU, а предварительно скомпилированные бандлы из Qualcomm AI Hub — на NPU через среду выполнения Qualcomm AI Engine Direct.

GenieX можно использовать бесплатно? Какая у него лицензия?

GenieX распространяется с открытым исходным кодом под лицензией BSD-3-Clause. Перед использованием в коммерческих продуктах проверьте условия лицензии.

GenieX всё ещё поддерживается?

Активно поддерживается. Последний коммит в GenieX — 21 окт. 2026 г..

Для чего можно использовать GenieX?

Запуск локального чата или ассистента на ноутбуке с Snapdragon без обращения к облаку. Добавление функций на базе LLM, работающих на устройстве, в Android-приложение с помощью Kotlin/Java SDK. Подключение существующего кода с OpenAI-клиентом к локально запущенной модели на IoT-устройстве с ARM Linux. Сравнение производительности моделей GGUF на Qualcomm NPU и CPU или GPU.

Как установить GenieX?

Установите пакет Python: pip install geniex Запустите пример на Python, чтобы общаться с моделью Или общайтесь из командной строки: geniex infer google/gemma-4-E4B-it-qat-q4_0-gguf

Где скачать GenieX?

Исходный код и инструкции по установке — на GitHub: https://github.com/qualcomm/GenieX