qualcomm/GenieX

어떤 프로젝트인가요?

핵심 기능

• 01llama.cpp를 통해 GGUF 모델을 Hexagon NPU, Adreno GPU 또는 CPU에서 실행합니다.
• 02사전 컴파일된 Qualcomm AI Hub 번들을 NPU에서 실행합니다.
• 03CLI, Python API, Android SDK, Docker 이미지를 제공합니다.
• 04로컬 엔드포인트에서 OpenAI 호환 API를 제공합니다.
• 05LLM과 VLM을 모두 지원합니다.

활용 사례

• 클라우드 호출 없이 Snapdragon 노트북에서 로컬 채팅이나 어시스턴트를 실행합니다.
• Kotlin/Java SDK를 사용해 Android 앱에 온디바이스 LLM 기능을 추가합니다.
• 기존 OpenAI 클라이언트 코드가 ARM Linux IoT 기기에서 로컬로 제공되는 모델에 연결되도록 합니다.
• Qualcomm NPU에서 GGUF 모델을 실행하고 CPU 또는 GPU와 성능을 비교합니다.

빠른 시작

1. 1

   Python 패키지를 설치합니다

   pip install geniex
2. 2

   Python 예제를 실행해 모델과 채팅합니다

3. 3

   또는 명령줄에서 채팅합니다

   geniex infer google/gemma-4-E4B-it-qat-q4_0-gguf

사용 전 알아둘 점

• !Qualcomm Snapdragon 기기에서만 실행됩니다.
• !상태는 Developer Preview이므로 인터페이스가 변경될 수 있습니다.
• !Linux CLI 설치에는 curl-to-shell 스크립트가 사용됩니다. 이 스크립트는 README에 제공되며 직접 실행해야 합니다.

토픽

자주 묻는 질문

GenieX은(는) 무엇인가요?

CLI, Python, Android, Docker 또는 OpenAI 호환 서버를 통해 Qualcomm Snapdragon 기기의 NPU, GPU, CPU에서 모델을 실행하는 온디바이스 LLM 및 VLM 추론 런타임입니다. GenieX는 Qualcomm Snapdragon 하드웨어용 온디바이스 생성형 AI 추론 런타임입니다. Hugging Face, ModelScope 또는 Docker Hub의 GGUF 모델을 llama.cpp를 통해 Hexagon NPU, Adreno GPU 또는 CPU에서 실행하고, Qualcomm AI Hub의 사전 컴파일된 번들은 Qualcomm AI Engine Direct 런타임을 통해 NPU에서 실행합니다.

GenieX은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

GenieX은(는) BSD-3-Clause 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

GenieX은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. GenieX의 마지막 커밋은 2026년 10월 21일입니다.

GenieX은(는) 어디에 사용할 수 있나요?

클라우드 호출 없이 Snapdragon 노트북에서 로컬 채팅이나 어시스턴트를 실행합니다. Kotlin/Java SDK를 사용해 Android 앱에 온디바이스 LLM 기능을 추가합니다. 기존 OpenAI 클라이언트 코드가 ARM Linux IoT 기기에서 로컬로 제공되는 모델에 연결되도록 합니다. Qualcomm NPU에서 GGUF 모델을 실행하고 CPU 또는 GPU와 성능을 비교합니다.

GenieX는 어떻게 설치하나요?

Python 패키지를 설치합니다: pip install geniex Python 예제를 실행해 모델과 채팅합니다 또는 명령줄에서 채팅합니다: geniex infer google/gemma-4-E4B-it-qat-q4_0-gguf

GenieX은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/qualcomm/GenieX