qualcomm/GenieX

これは何？

主な機能

• 01llama.cpp経由でGGUFモデルをHexagon NPU、Adreno GPU、またはCPU上で実行します。
• 02コンパイル済みのQualcomm AI HubバンドルをNPU上で実行します。
• 03CLI、Python API、Android SDK、Dockerイメージを提供します。
• 04ローカルのエンドポイントでOpenAI互換APIを提供します。
• 05LLMとVLMの両方に対応します。

ユースケース

• クラウドに接続せず、Snapdragon搭載ノートPCでローカルのチャットやアシスタントを実行する。
• Kotlin/Java SDKを使って、AndroidアプリにオンデバイスLLM機能を追加する。
• 既存のOpenAIクライアントコードを、ARM Linux IoTデバイス上でローカル提供されるモデルに接続する。
• Qualcomm NPU上のGGUFモデルの性能をCPUやGPUと比較してベンチマークする。

クイックスタート

1. 1

   Python パッケージをインストールする

   pip install geniex
2. 2

   Python のサンプルを実行してモデルとチャットする

3. 3

   またはコマンドラインからチャットする

   geniex infer google/gemma-4-E4B-it-qat-q4_0-gguf

使う前に知っておきたいこと

• !Qualcomm Snapdragon デバイスでのみ動作します。
• !ステータスは Developer Preview のため、インターフェースが変更される場合があります。
• !Linux CLI のインストールには curl-to-shell スクリプトを使用します。スクリプトは README に記載されており、手動で実行する必要があります。

トピック

よくある質問

GenieX とは？

CLI、Python、Android、Docker、またはOpenAI互換サーバーを通じて、Qualcomm SnapdragonデバイスのNPU、GPU、CPUでモデルを実行するオンデバイスLLM・VLM推論ランタイムです。 GenieXは、Qualcomm Snapdragonハードウェア向けのオンデバイス生成AI推論ランタイムです。Hugging Face、ModelScope、Docker Hubから取得したGGUFモデルをllama.cpp経由でHexagon NPU、Adreno GPU、またはCPU上で実行できます。また、Qualcomm AI Hubのコンパイル済みバンドルは、Qualcomm AI Engine Directランタイム経由でNPU上で実行します。

GenieX は無料で使えますか？ライセンスは？

GenieX は BSD-3-Clause ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

GenieX は今もメンテナンスされていますか？

活発にメンテナンス中。GenieX の最終コミットは 2026年10月21日 です。

GenieX は何に使えますか？

クラウドに接続せず、Snapdragon搭載ノートPCでローカルのチャットやアシスタントを実行する。 Kotlin/Java SDKを使って、AndroidアプリにオンデバイスLLM機能を追加する。 既存のOpenAIクライアントコードを、ARM Linux IoTデバイス上でローカル提供されるモデルに接続する。 Qualcomm NPU上のGGUFモデルの性能をCPUやGPUと比較してベンチマークする。

GenieX のインストール方法は？

Python パッケージをインストールする: pip install geniex Python のサンプルを実行してモデルとチャットする またはコマンドラインからチャットする: geniex infer google/gemma-4-E4B-it-qat-q4_0-gguf

GenieX はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/qualcomm/GenieX