PyTorchのオンデバイス推論スタック。エクスポートしたモデルをスマートフォン、ノートPC、ブラウザ、マイクロコントローラーで実行できます。
alibaba/MNN
MNNはAlibabaが開発する軽量な深層学習の推論・学習エンジンで、端末上のLLMを含む、モバイル端末や組み込みデバイスでのモデル実行を想定しています。
代替できる製品:TensorFlow Lite
- スター
- 16,256
- フォーク
- 2,482
- 未解決の Issue
- 75
- 最終コミット
- 8 時間前
これは何?
MNNはAlibabaが開発する深層学習フレームワークで、推論と学習の両方に対応し、クラウドではなくデバイス上でモデルを効率よく実行することに重点を置いています。TensorFlow、Caffe、ONNX、TorchScriptのモデルを独自形式に変換し、ARM、x86、Metal、OpenCL、Vulkan、CUDAなどのCPU・GPUバックエンドで実行します。
このプロジェクトには、スマートフォン、PC、IoT機器上で大規模言語モデルやStable Diffusionをローカル実行するためのランタイム、MNN-LLMとMNN-Diffusionも含まれています。関連ツールとして、モデル変換や圧縮の機能、Python API、OpenCV風の画像処理ライブラリも提供しています。
READMEによると、このエンジンはAlibabaの30以上のアプリに組み込まれ、IoT機器などの組み込みデバイスでも利用されています。対応環境はiOS 8.0以降、Android 4.3以降、POSIXベースの組み込みシステムです。
主な機能
- 01TensorFlow、Caffe、ONNX、TorchScriptのモデルをMNN形式に変換します。
- 02CPU(ARM、x86)と、Metal、OpenCL、Vulkan、CUDAなどのGPUバックエンドで推論を実行します。
- 03モデルサイズを削減するFP16およびInt8量子化に対応しています。
- 04端末上で大規模言語モデルを実行するためのMNN-LLMランタイムを提供します。
- 05Python APIと、軽量なOpenCV風の画像処理モジュールを提供します。
ユースケース
- AndroidまたはiOSアプリで、LLMや拡散モデルをオフライン実行する。
- 組み込みデバイスやIoT機器にコンピュータビジョンモデルをデプロイする。
- クラウドバックエンドを使わずに、モバイルGPUでONNXやTensorFlowのモデルを高速化する。
クイックスタート
- 1
Read the DocsでMNNのドキュメントを読む
- 2
MNNのホームページ(www.mnn.zone)からMNN Workbenchをダウンロードする
使う前に知っておきたいこと
- バックエンドによってサポート状況は異なります。READMEでは、CPU、GPU、NPUの複数の組み合わせにバグがある、最適化されていない、またはサポート対象外と記載されています。
- コミュニティでの議論は主に中国語で行われており、英語でのサポートは限られています。
トピック
よくある質問
- MNN とは?
- MNNはAlibabaが開発する軽量な深層学習の推論・学習エンジンで、端末上のLLMを含む、モバイル端末や組み込みデバイスでのモデル実行を想定しています。 MNNはAlibabaが開発する深層学習フレームワークで、推論と学習の両方に対応し、クラウドではなくデバイス上でモデルを効率よく実行することに重点を置いています。TensorFlow、Caffe、ONNX、TorchScriptのモデルを独自形式に変換し、ARM、x86、Metal、OpenCL、Vulkan、CUDAなどのCPU・GPUバックエンドで実行します。
- MNN は無料で使えますか?ライセンスは?
- MNN は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- MNN は今もメンテナンスされていますか?
- 活発にメンテナンス中。MNN の最終コミットは 2026年10月21日 です。
- MNN は何に使えますか?
- AndroidまたはiOSアプリで、LLMや拡散モデルをオフライン実行する。 組み込みデバイスやIoT機器にコンピュータビジョンモデルをデプロイする。 クラウドバックエンドを使わずに、モバイルGPUでONNXやTensorFlowのモデルを高速化する。
- MNN のインストール方法は?
- Read the DocsでMNNのドキュメントを読む MNNのホームページ(www.mnn.zone)からMNN Workbenchをダウンロードする
- MNN はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/alibaba/MNN
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
機械学習モデルの構築からデプロイまでを支える、Python APIとC++ APIを備えたオープンソースのエンドツーエンドプラットフォーム。
大規模モデルの分散学習と推論を、より簡単かつ効率的にする深層学習最適化ライブラリ。
大規模AIモデル向けのPyTorchベースの分散学習・推論システムで、並列化、メモリ最適化、異種ハードウェアでの学習を実現します。
GPU上でTransformerモデルを学習・推論するための、メモリ効率に優れた厳密なattentionカーネルFlashAttentionの公式実装。
Google AI EdgeのAndroid・iOSアプリ。オープンソースLLMやオンデバイス生成AIを、スマートフォン上でオフラインで試せます。