ビジョン、音声、NLP、LLMを網羅する419種類の学習済みAIモデルを、共通のPython CLIからailia SDKで実行できます。
google-ai-edge/mediapipe
モバイル、Web、デスクトップ、IoT上でビジョン・音声・テキストモデルを実行する、クロスプラットフォームのフレームワークとすぐに使えるMLソリューション。
- スター
- 37,361
- フォーク
- 6,194
- 未解決の Issue
- 331
- 最終コミット
- 9 時間前
これは何?
MediaPipeはGoogle AI Edgeが提供するオンデバイス機械学習ツールキットです。MediaPipe Tasksを通じて、ビジョン、音声、テキストなどのタスク向けに事前学習済みモデルをデプロイするクロスプラットフォームAPIとライブラリを提供します。また、ブラウザでソリューションをテスト・ベンチマークできるMediaPipe Studioも備えています。
より低レイヤーでは、MediaPipe Frameworkを使って、パケットのストリームを処理するCalculatorのグラフとして認識パイプラインを構築できます。C++、Android、iOSを対象とし、モバイル、Web、デスクトップ、エッジ、IoTへのデプロイに対応します。画像、動画、テキストなどの入力データは、デバイス上でローカルに処理されます。
データをサーバーに送信せずにカメラやメディアを使ったML機能を追加したい開発者や、リアルタイムのメディア処理に向けてカスタマイズ可能なストリーミングパイプラインが必要な開発者に適しています。
主な機能
- 01MediaPipe Tasksによる、事前学習済みのビジョン・音声・テキストソリューション。
- 02Android、iOS、Web、Python、C++向けのクロスプラットフォームAPI。
- 03ストリーミングパイプライン向けに、Calculatorとパケットで構成するグラフベースのフレームワーク。
- 04オンデバイス推論により、入力データをデバイス内に保持。
- 05ブラウザでソリューションをテスト・ベンチマークできるMediaPipe Studio。
ユースケース
- モバイルアプリにリアルタイムの顔・手・姿勢トラッキングを追加する。
- Webページ上でオンデバイスの物体検出や分類を実行する。
- ライブストリーム向けのカスタム動画・音声処理パイプラインを構築する。
- データをローカルに保持する必要があるエッジデバイスやIoTデバイスにML機能をデプロイする。
クイックスタート
- 1
開発者向けドキュメントから、vision や text などのソリューションガイドを選びます
- 2
Python や Android など、お使いのプラットフォーム向けのセットアップガイドに従います
使う前に知っておきたいこと
- MediaPipe Tasks はパフォーマンスと使用状況のメトリクスを Google に送信します。アプリ開発者は、必要に応じてユーザーの同意を取得する必要があります。
トピック
よくある質問
- mediapipe とは?
- モバイル、Web、デスクトップ、IoT上でビジョン・音声・テキストモデルを実行する、クロスプラットフォームのフレームワークとすぐに使えるMLソリューション。 MediaPipeはGoogle AI Edgeが提供するオンデバイス機械学習ツールキットです。MediaPipe Tasksを通じて、ビジョン、音声、テキストなどのタスク向けに事前学習済みモデルをデプロイするクロスプラットフォームAPIとライブラリを提供します。また、ブラウザでソリューションをテスト・ベンチマークできるMediaPipe Studioも備えています。
- mediapipe は無料で使えますか?ライセンスは?
- mediapipe は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- mediapipe は今もメンテナンスされていますか?
- 活発にメンテナンス中。mediapipe の最終コミットは 2026年10月22日 です。
- mediapipe は何に使えますか?
- モバイルアプリにリアルタイムの顔・手・姿勢トラッキングを追加する。 Webページ上でオンデバイスの物体検出や分類を実行する。 ライブストリーム向けのカスタム動画・音声処理パイプラインを構築する。 データをローカルに保持する必要があるエッジデバイスやIoTデバイスにML機能をデプロイする。
- mediapipe のインストール方法は?
- 開発者向けドキュメントから、vision や text などのソリューションガイドを選びます Python や Android など、お使いのプラットフォーム向けのセットアップガイドに従います
- mediapipe はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/google-ai-edge/mediapipe
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
PyTorchのオンデバイス推論スタック。エクスポートしたモデルをスマートフォン、ノートPC、ブラウザ、マイクロコントローラーで実行できます。
モバイル、組み込み機器、デスクトップで深層学習モデルを実行するための、高性能なC++ニューラルネットワーク推論フレームワークです。
MNNはAlibabaが開発する軽量な深層学習の推論・学習エンジンで、端末上のLLMを含む、モバイル端末や組み込みデバイスでのモデル実行を想定しています。
Google AI EdgeのAndroid・iOSアプリ。オープンソースLLMやオンデバイス生成AIを、スマートフォン上でオフラインで試せます。
iOS・Androidアプリ上でGGUF LLMを実行するためのllama.cpp向けReact Nativeバインディング。