cactus は無料で使えますか？ライセンスは？

cactus は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

cactus は今もメンテナンスされていますか？

活発にメンテナンス中。cactus の最終コミットは 2026年9月26日です。

cactus は何に使えますか？

データをサーバーに送信せず、モバイルアプリやデスクトップアプリでプライベートなオンデバイスアシスタントを実行する。ウェアラブルやスマートフォンのアプリにオフライン音声文字起こしを追加する。 Macでの開発用に、OpenAI互換のローカルエンドポイントを提供する。スマートホーム機器やロボットに小型の量子化モデルをデプロイする。

cactus のインストール方法は？

HomebrewでCactusをインストールする（macOS）: brew install cactus-compute/cactus/cactus Cactus CLIでモデルを実行する: cactus run

cactus はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/cactus-compute/cactus

cactus-compute/cactus

Q: cactus は今もメンテナンスされていますか？

活発にメンテナンス中。cactus の最終コミットは 2026年9月26日 です。

スマートフォン、ウェアラブル、スマートホーム機器、ロボットでLLM・音声・画像モデルを実行するためのC++推論エンジン兼ランタイム。

GitHub で見る公式サイト

スター: 6,148
フォーク: 519
未解決の Issue: 115
最終コミット: 27 日前

これは何？

Cactusは、モバイル端末やウェアラブル向けのハイブリッドなエッジ／クラウドAIエンジンです。チャット補完、ストリーミング、ツール呼び出し、文字起こし、埋め込み、RAG、画像処理に対応したOpenAI互換APIを提供し、ローカルモデルの信頼度がしきい値を下回ると、クエリをクラウドモデルに引き継げます。

スタックは4つのレイヤーで構成されています。エンジンAPI、ゼロコピーの計算グラフ、Apple・Samsung・Pixelのハードウェア向けに最適化したARM NEONおよびGPUカーネル、そして4-bitから1-bitまで対応する独自の回転ベースの量子化方式（Cactus Quants）です。MacとiPhoneのハードウェア上でGemma、Qwen、Liquid、Whisper、Parakeetモデルを実行したベンチマークも公開しています。

CactusはmacOSにHomebrewでインストールでき、モデルの実行、ダウンロード、変換、サービングを行うCLIのほか、Swift、Kotlin、Flutter、React Native、Python、Rust向けのバインディングも含まれています。

主な機能

01チャット、ストリーミング、ツール呼び出しに対応した、OpenAI互換のローカルHTTPサーバーとC API。
02デバイス上での音声文字起こしと視覚言語推論。
03ローカルモデルの信頼度に応じたクラウドへの自動引き継ぎ。
044-bitから1-bitまで対応する独自のCQ量子化。
05Apple・Samsung・Pixelのハードウェア向けARM NEONおよびGPUカーネル。
06Swift、Kotlin、Flutter、React Native、Python、Rust向けのバインディング。

ユースケース

データをサーバーに送信せず、モバイルアプリやデスクトップアプリでプライベートなオンデバイスアシスタントを実行する。
ウェアラブルやスマートフォンのアプリにオフライン音声文字起こしを追加する。
Macでの開発用に、OpenAI互換のローカルエンドポイントを提供する。
スマートホーム機器やロボットに小型の量子化モデルをデプロイする。

クイックスタート

1
HomebrewでCactusをインストールする（macOS）
brew install cactus-compute/cactus/cactus
2
Cactus CLIでモデルを実行する
cactus run

使う前に知っておきたいこと

ライセンスが明確に指定されていません（メタデータではNOASSERTIONと表示）。商用利用の前にリポジトリを確認してください。
クイックデモはMac向けに紹介されており、ベンチマーク表はAppleデバイスを中心としています。
任意のHuggingFaceモデルの変換は実験的とされています。特にテストされているのは一部のモデルファミリーのみです。

収録されている特集

LLM をローカルで動かす AI 動画・音声ツール Android アプリとスマホツール

トピック

#edge-ai #on-device-ai #llm-inference #quantization #mobile-inference #speech-recognition #rag #arm-neon #ai #android

よくある質問

cactus とは？: スマートフォン、ウェアラブル、スマートホーム機器、ロボットでLLM・音声・画像モデルを実行するためのC++推論エンジン兼ランタイム。 Cactusは、モバイル端末やウェアラブル向けのハイブリッドなエッジ／クラウドAIエンジンです。チャット補完、ストリーミング、ツール呼び出し、文字起こし、埋め込み、RAG、画像処理に対応したOpenAI互換APIを提供し、ローカルモデルの信頼度がしきい値を下回ると、クエリをクラウドモデルに引き継げます。
cactus は無料で使えますか？ライセンスは？: cactus は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
cactus は今もメンテナンスされていますか？: 活発にメンテナンス中。cactus の最終コミットは 2026年9月26日です。
cactus は何に使えますか？: データをサーバーに送信せず、モバイルアプリやデスクトップアプリでプライベートなオンデバイスアシスタントを実行する。ウェアラブルやスマートフォンのアプリにオフライン音声文字起こしを追加する。 Macでの開発用に、OpenAI互換のローカルエンドポイントを提供する。スマートホーム機器やロボットに小型の量子化モデルをデプロイする。
cactus のインストール方法は？: HomebrewでCactusをインストールする（macOS）: brew install cactus-compute/cactus/cactus Cactus CLIでモデルを実行する: cactus run
cactus はどこで入手できますか？: ソースコードとインストール手順は GitHub にあります：https://github.com/cactus-compute/cactus

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。