Repolode
alibaba

alibaba/MNN

MNNはAlibabaが開発する軽量な深層学習の推論・学習エンジンで、端末上のLLMを含む、モバイル端末や組み込みデバイスでのモデル実行を想定しています。

代替できる製品:TensorFlow Lite

スター
16,256
フォーク
2,482
未解決の Issue
75
最終コミット
8 時間前

これは何?

MNNはAlibabaが開発する深層学習フレームワークで、推論と学習の両方に対応し、クラウドではなくデバイス上でモデルを効率よく実行することに重点を置いています。TensorFlow、Caffe、ONNX、TorchScriptのモデルを独自形式に変換し、ARM、x86、Metal、OpenCL、Vulkan、CUDAなどのCPU・GPUバックエンドで実行します。

このプロジェクトには、スマートフォン、PC、IoT機器上で大規模言語モデルやStable Diffusionをローカル実行するためのランタイム、MNN-LLMとMNN-Diffusionも含まれています。関連ツールとして、モデル変換や圧縮の機能、Python API、OpenCV風の画像処理ライブラリも提供しています。

READMEによると、このエンジンはAlibabaの30以上のアプリに組み込まれ、IoT機器などの組み込みデバイスでも利用されています。対応環境はiOS 8.0以降、Android 4.3以降、POSIXベースの組み込みシステムです。

主な機能

  • 01TensorFlow、Caffe、ONNX、TorchScriptのモデルをMNN形式に変換します。
  • 02CPU(ARM、x86)と、Metal、OpenCL、Vulkan、CUDAなどのGPUバックエンドで推論を実行します。
  • 03モデルサイズを削減するFP16およびInt8量子化に対応しています。
  • 04端末上で大規模言語モデルを実行するためのMNN-LLMランタイムを提供します。
  • 05Python APIと、軽量なOpenCV風の画像処理モジュールを提供します。

ユースケース

  • AndroidまたはiOSアプリで、LLMや拡散モデルをオフライン実行する。
  • 組み込みデバイスやIoT機器にコンピュータビジョンモデルをデプロイする。
  • クラウドバックエンドを使わずに、モバイルGPUでONNXやTensorFlowのモデルを高速化する。

クイックスタート

  1. 1

    Read the DocsでMNNのドキュメントを読む

  2. 2

    MNNのホームページ(www.mnn.zone)からMNN Workbenchをダウンロードする

使う前に知っておきたいこと

  • バックエンドによってサポート状況は異なります。READMEでは、CPU、GPU、NPUの複数の組み合わせにバグがある、最適化されていない、またはサポート対象外と記載されています。
  • コミュニティでの議論は主に中国語で行われており、英語でのサポートは限られています。

トピック

よくある質問

MNN とは?
MNNはAlibabaが開発する軽量な深層学習の推論・学習エンジンで、端末上のLLMを含む、モバイル端末や組み込みデバイスでのモデル実行を想定しています。 MNNはAlibabaが開発する深層学習フレームワークで、推論と学習の両方に対応し、クラウドではなくデバイス上でモデルを効率よく実行することに重点を置いています。TensorFlow、Caffe、ONNX、TorchScriptのモデルを独自形式に変換し、ARM、x86、Metal、OpenCL、Vulkan、CUDAなどのCPU・GPUバックエンドで実行します。
MNN は無料で使えますか?ライセンスは?
MNN は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
MNN は今もメンテナンスされていますか?
活発にメンテナンス中。MNN の最終コミットは 2026年10月21日 です。
MNN は何に使えますか?
AndroidまたはiOSアプリで、LLMや拡散モデルをオフライン実行する。 組み込みデバイスやIoT機器にコンピュータビジョンモデルをデプロイする。 クラウドバックエンドを使わずに、モバイルGPUでONNXやTensorFlowのモデルを高速化する。
MNN のインストール方法は?
Read the DocsでMNNのドキュメントを読む MNNのホームページ(www.mnn.zone)からMNN Workbenchをダウンロードする
MNN はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/alibaba/MNN

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト