「on-device-ai」に関するオープンソースプロジェクト

SSDからエキスパートをストリーミングし、約2 GBのメモリでApple Silicon Mac上のGemma 4 26B-A4Bを実行するSwift/Metalランタイム。

Apple Foundation Modelsを使い、すべての処理をデバイス上で行うmacOS・iOS向けドキュメントチャットアプリ。

MLXベースのAnthropic APIサーバーを使い、クラウドモデルやAPIキーなしでApple Silicon Mac上のオープンモデルをClaude Codeから利用できます。

スマートフォンやウェアラブル、ロボット、マイコン上でツール呼び出しなどを処理する8〜29 MBの基盤モデル

動画解析とデバイス上のVLMモデルを、Sophon、Rockchip RKNN、x86向けのデプロイ可能なアプリにするC++エッジAIエンジン。