Repolode
RunanywhereAI

RunanywhereAI/runanywhere-sdks

iOS、Android、Web、デスクトップ、サーバーでLLM、音声、ビジョン、画像モデルを完全にオンデバイス実行するクロスプラットフォームSDK。

スター
10,332
フォーク
410
未解決の Issue
210
最終コミット
一昨日

これは何?

RunAnywhereは、Swift、Kotlin、Flutter、React Native、Web、Electron、Python向けのバインディングを備えたC++コアです。アプリから、言語モデル、ビジョン言語モデル、音声認識、音声合成、音声アクティビティ検出、埋め込み、RAG、拡散モデルによる画像生成をデバイス上で実行でき、データをサーバーに送信する必要はありません。

機能レジストリが、現在のハードウェアで対象モダリティに対応するエンジンのうち、優先度が最も高いものに各呼び出しを振り分けます。対応エンジンには、Snapdragon Hexagon NPU向けのQHexRT、Appleシリコン上のMLX、Metal、CUDA、WebGPUバックエンドに対応するllama.cpp、音声と埋め込み向けのONNX対応sherpa、拡散モデル向けのCore MLがあります。同じアプリケーションコードをこれらの環境で利用できます。

このプロジェクトには、OpenAI互換のPythonローカルサーバー、wallyというターミナルCLI、モデルのデプロイやデバイスごとのテレメトリー収集に使えるオプションのコンソールも含まれています。複数のSDKはまだベータ、プレビュー、またはアルファ段階であり、ウェイクワード検出など、一部の機能は未実装です。

主な機能

  • 01LLM、VLM、音声、TTS、埋め込み、拡散モデルをデバイス上でローカル実行できます。
  • 02ハードウェアに応じて、QHexRT、MLX、llama.cpp、sherpa/ONNX、Core MLなどのエンジンに推論を振り分けます。
  • 03Swift、Kotlin、Flutter、React Native、Web、Electron、Pythonで共通のAPIを提供します。
  • 04構造化JSON出力、ツール呼び出し、ローカル文書を使ったRAGに対応しています。
  • 05Python SDKではOpenAI互換のローカルサーバーを、wally CLIではCLIを提供します。

ユースケース

  • スマートフォン上で音声認識、ローカルLLM、音声合成を実行するオフライン音声アシスタントの構築。
  • ファイルをクラウドAPIに送信せず、デスクトップアプリにプライベートな文書Q&Aを追加。
  • 既存のクライアントコード向けに、OpenAI互換エンドポイントの背後でローカルモデルを提供。
  • モバイルアプリで、カメラ画像を説明するオンデバイスのビジョン言語モデルを実行。

クイックスタート

  1. 1

    PyPIからPythonパッケージをインストールします

    pip install runanywhere
  2. 2

    SDKを初期化し、READMEにあるPythonの例を使ってテキストを生成します(モデルは初回使用時にダウンロードされます)

使う前に知っておきたいこと

  • ライセンスは標準的なオープンソースライセンスではなく、NOASSERTIONとして記載されています。商用利用の前にLICENSEファイルを確認してください。
  • 一部の機能はプラットフォームやバックエンドに依存し、CUDAはオプトイン方式のソースビルドです。
  • ElectronのデスクトップバインディングはWindowsを優先しており、ビルド済みアドオンはwin32-x64向けのみ提供されています。

収録されている特集

トピック

よくある質問

runanywhere-sdks とは?
iOS、Android、Web、デスクトップ、サーバーでLLM、音声、ビジョン、画像モデルを完全にオンデバイス実行するクロスプラットフォームSDK。 RunAnywhereは、Swift、Kotlin、Flutter、React Native、Web、Electron、Python向けのバインディングを備えたC++コアです。アプリから、言語モデル、ビジョン言語モデル、音声認識、音声合成、音声アクティビティ検出、埋め込み、RAG、拡散モデルによる画像生成をデバイス上で実行でき、データをサーバーに送信する必要はありません。
runanywhere-sdks は無料で使えますか?ライセンスは?
runanywhere-sdks は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
runanywhere-sdks は今もメンテナンスされていますか?
活発にメンテナンス中。runanywhere-sdks の最終コミットは 2026年11月5日 です。
runanywhere-sdks は何に使えますか?
スマートフォン上で音声認識、ローカルLLM、音声合成を実行するオフライン音声アシスタントの構築。 ファイルをクラウドAPIに送信せず、デスクトップアプリにプライベートな文書Q&Aを追加。 既存のクライアントコード向けに、OpenAI互換エンドポイントの背後でローカルモデルを提供。 モバイルアプリで、カメラ画像を説明するオンデバイスのビジョン言語モデルを実行。
runanywhere-sdks のインストール方法は?
PyPIからPythonパッケージをインストールします: pip install runanywhere SDKを初期化し、READMEにあるPythonの例を使ってテキストを生成します(モデルは初回使用時にダウンロードされます)
runanywhere-sdks はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/RunanywhereAI/runanywhere-sdks

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト