qualcomm/GenieX

O que é?

Recursos principais

• 01Executa modelos GGUF na NPU Hexagon, na GPU Adreno ou na CPU via llama.cpp.
• 02Executa bundles pré-compilados do Qualcomm AI Hub na NPU.
• 03Oferece CLI, API Python, SDK Android e imagem Docker.
• 04Disponibiliza uma API compatível com OpenAI em um endpoint local.
• 05Dá suporte a LLMs e VLMs.

Casos de uso

• Executar um chat ou assistente local em um laptop Snapdragon sem chamadas à nuvem.
• Adicionar recursos de LLM no dispositivo a um app Android com o SDK Kotlin/Java.
• Direcionar código existente que usa um cliente OpenAI para um modelo servido localmente em um dispositivo IoT com Linux ARM.
• Comparar o desempenho de modelos GGUF em NPUs Qualcomm com CPU ou GPU.

Início rápido

1. 1

   Instale o pacote Python

   pip install geniex
2. 2

   Execute o exemplo em Python para conversar com um modelo

3. 3

   Ou converse pela linha de comando

   geniex infer google/gemma-4-E4B-it-qat-q4_0-gguf

Antes de usar

• !Funciona apenas em dispositivos Qualcomm Snapdragon.
• !O status é Developer Preview, então as interfaces podem mudar.
• !A instalação do Linux CLI depende de um script curl-to-shell, disponibilizado no README, que você precisa executar manualmente.

Tópicos

Perguntas frequentes

O que é GenieX?

Runtime de inferência de LLMs e VLMs no dispositivo para aparelhos Qualcomm Snapdragon, com modelos na NPU, GPU ou CPU via CLI, Python, Android, Docker ou servidor compatível com OpenAI. GenieX é um runtime de inferência de IA generativa no dispositivo para hardware Qualcomm Snapdragon. Ele executa modelos GGUF do Hugging Face, ModelScope ou Docker Hub via llama.cpp na NPU Hexagon, na GPU Adreno ou na CPU, e executa bundles pré-compilados do Qualcomm AI Hub na NPU por meio do runtime Qualcomm AI Engine Direct.

GenieX é gratuito? Qual é a licença?

GenieX é open source sob a licença BSD-3-Clause. Confira os termos da licença antes de usá-lo em produtos comerciais.

GenieX ainda é mantido?

Manutenção ativa. O último commit de GenieX foi em 21 de out. de 2026.

Para que posso usar GenieX?

Executar um chat ou assistente local em um laptop Snapdragon sem chamadas à nuvem. Adicionar recursos de LLM no dispositivo a um app Android com o SDK Kotlin/Java. Direcionar código existente que usa um cliente OpenAI para um modelo servido localmente em um dispositivo IoT com Linux ARM. Comparar o desempenho de modelos GGUF em NPUs Qualcomm com CPU ou GPU.

Como instalar GenieX?

Instale o pacote Python: pip install geniex Execute o exemplo em Python para conversar com um modelo Ou converse pela linha de comando: geniex infer google/gemma-4-E4B-it-qat-q4_0-gguf

Onde consigo GenieX?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/qualcomm/GenieX