qualcomm/GenieX

¿Qué es?

Funciones clave

• 01Ejecuta modelos GGUF en la NPU Hexagon, la GPU Adreno o la CPU mediante llama.cpp.
• 02Ejecuta bundles precompilados de Qualcomm AI Hub en la NPU.
• 03Ofrece una CLI, una API de Python, un SDK de Android y una imagen de Docker.
• 04Expone una API compatible con OpenAI en un endpoint local.
• 05Es compatible con LLM y VLM.

Casos de uso

• Ejecutar un chat o asistente local en una laptop Snapdragon sin llamadas a la nube.
• Agregar funciones de LLM en el dispositivo a una app de Android con el SDK de Kotlin/Java.
• Conectar código existente que usa clientes de OpenAI con un modelo servido localmente en un dispositivo IoT con Linux ARM.
• Comparar el rendimiento de modelos GGUF en NPU Qualcomm frente a CPU o GPU.

Inicio rápido

1. 1

   Instala el paquete de Python

   pip install geniex
2. 2

   Ejecuta el ejemplo de Python para chatear con un modelo

3. 3

   O chatea desde la línea de comandos

   geniex infer google/gemma-4-E4B-it-qat-q4_0-gguf

Antes de usarlo

• !Solo funciona en dispositivos Qualcomm Snapdragon.
• !El estado es Developer Preview, por lo que las interfaces pueden cambiar.
• !La instalación de Linux CLI requiere un script curl-to-shell que se incluye en el README y que debes ejecutar manualmente.

Temas

Preguntas frecuentes

¿Qué es GenieX?

Runtime de inferencia en el dispositivo para LLM y VLM en dispositivos Qualcomm Snapdragon, con modelos ejecutados en NPU, GPU o CPU mediante CLI, Python, Android, Docker o un servidor compatible con OpenAI. GenieX es un runtime de inferencia de IA generativa en el dispositivo para hardware Qualcomm Snapdragon. Ejecuta modelos GGUF de Hugging Face, ModelScope o Docker Hub mediante llama.cpp en la NPU Hexagon, la GPU Adreno o la CPU, y ejecuta bundles precompilados de Qualcomm AI Hub en la NPU mediante el runtime Qualcomm AI Engine Direct.

¿GenieX es gratuito? ¿Qué licencia tiene?

GenieX es open source bajo la licencia BSD-3-Clause. Revisa los términos de la licencia antes de usarlo en productos comerciales.

¿GenieX sigue mantenido?

Mantenimiento activo. El último commit de GenieX fue el 21 oct 2026.

¿Para qué puedo usar GenieX?

Ejecutar un chat o asistente local en una laptop Snapdragon sin llamadas a la nube. Agregar funciones de LLM en el dispositivo a una app de Android con el SDK de Kotlin/Java. Conectar código existente que usa clientes de OpenAI con un modelo servido localmente en un dispositivo IoT con Linux ARM. Comparar el rendimiento de modelos GGUF en NPU Qualcomm frente a CPU o GPU.

¿Cómo se instala GenieX?

Instala el paquete de Python: pip install geniex Ejecuta el ejemplo de Python para chatear con un modelo O chatea desde la línea de comandos: geniex infer google/gemma-4-E4B-it-qat-q4_0-gguf

¿Dónde consigo GenieX?

El código fuente y las instrucciones de instalación están en GitHub: https://github.com/qualcomm/GenieX