google-ai-edge/LiteRT-LM

これは何？

主な機能

• 01Android、iOS、Web、デスクトップ、Raspberry Piで動作します。
• 02推論にGPUおよびNPUアクセラレーターを利用します。
• 03テキストに加えて、画像と音声の入力にも対応します。
• 04エージェント型ワークフロー向けにfunction callingを提供します。
• 05埋め込み用エンドポイントを備えたOpenAI互換サーバーを提供します。
• 06Python、Kotlin、Swift、JavaScript、C++向けのAPIを提供します。

ユースケース

• オフラインでチャットモデルを実行するAndroidまたはiOSアプリを構築する。
• コマンドラインからノートPCやRaspberry Pi上でLLMをローカル実行する。
• クラウドバックエンドを使わず、アプリにオンデバイスのfunction callingを追加する。
• OpenAI形式のAPIを通じて、ローカルの埋め込みモデルを提供する。

クイックスタート

1. 1

   uvでLiteRT-LM CLIをインストールする

   uv tool install litert-lm
2. 2

   ターミナルでHugging FaceのGemma 3nモデルを実行する

   litert-lm run \ --from-huggingface-repo=google/gemma-3n-E2B-it-litert-lm \ gemma-3n-E2B-it-int4 \ --prompt="What is the capital of France?"

使う前に知っておきたいこと

• !SwiftとJavaScriptのAPIは早期プレビュー版です。
• !Flutterのサポートは公式ではなく、コミュニティによって維持されています。

収録されている特集

トピック

よくある質問

LiteRT-LM とは？

Android、iOS、Web、デスクトップ、Raspberry PiなどのエッジデバイスでLLMを実行する、Googleのオープンソースフレームワーク。 LiteRT-LMは、Googleのオンデバイス推論ランタイムLiteRT上でLLMを実行するためのオーケストレーションレイヤーです。クラウドAPIを呼び出す代わりに、Gemma、Llama、Phi-4、Qwenなどのモデルをスマートフォン、ブラウザ、デスクトップ、IoTボード上でローカル実行したい開発者を対象としています。

LiteRT-LM は無料で使えますか？ライセンスは？

LiteRT-LM は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

LiteRT-LM は今もメンテナンスされていますか？

活発にメンテナンス中。LiteRT-LM の最終コミットは 2026年10月22日 です。

LiteRT-LM は何に使えますか？

オフラインでチャットモデルを実行するAndroidまたはiOSアプリを構築する。 コマンドラインからノートPCやRaspberry Pi上でLLMをローカル実行する。 クラウドバックエンドを使わず、アプリにオンデバイスのfunction callingを追加する。 OpenAI形式のAPIを通じて、ローカルの埋め込みモデルを提供する。

LiteRT-LM のインストール方法は？

uvでLiteRT-LM CLIをインストールする: uv tool install litert-lm ターミナルでHugging FaceのGemma 3nモデルを実行する: litert-lm run \ --from-huggingface-repo=google/gemma-3n-E2B-it-litert-lm \ gemma-3n-E2B-it-int4 \ --prompt="What is the capital of France?"

LiteRT-LM はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/google-ai-edge/LiteRT-LM