Repolode
lmstudio-ai

lmstudio-ai/mlx-engine

Apple silicon上でMLXモデルを実行するLLM推論エンジン。LM Studioのバックエンドとして使われます。

スター
1,200
フォーク
138
未解決の Issue
97
最終コミット
4 日前

これは何?

mlx-engineは、LM StudioがMacでモデルを読み込み、実行するためのApple MLXベースのLLMエンジンです。テキスト生成にはmlx-lm、構造化出力にはOutlines、ビジョンモデルにはmlx-vlmを利用しており、LM StudioユーザーはApple silicon上でMLX形式のモデルをローカル実行できます。

リポジトリには、MLXのテキストモデルまたはビジョンモデルを読み込み、プロンプトに対する応答を生成する単体のデモスクリプトdemo.pyが含まれています。画像や、投機的デコーディング用のドラフトモデルも任意で指定できます。モデルのダウンロードにはLM Studioのlms CLIを使います。対応するビジョンモデルには、Llama-3.2-Vision、Pixtral、Qwen2-VL、Llava-v1.6があります。

macOS 14以降とPython 3.11が必要で、MITライセンスで公開されています。

主な機能

  • 01Apple silicon搭載Macで、MLX形式のテキストLLMを実行できます。
  • 02Pixtral、Qwen2-VL、Llama-3.2-Visionなどのビジョンモデルに対応しています。
  • 03別のドラフトモデルを使った投機的デコーディングに対応しています。
  • 04Outlinesによる構造化出力に対応しています。
  • 05Mac向けLM Studio 0.3.4以降に標準搭載のエンジンとして提供されています。

ユースケース

  • LM Studioを通じて、Mac上でLLMをローカルかつプライベートに実行する。
  • 単体のデモスクリプトでMLXのテキストモデルやビジョンモデルを試す。
  • MLXのモデル推論を利用するローカルPythonアプリケーションを構築する。

クイックスタート

  1. 1

    リポジトリをクローンする

    git clone https://github.com/lmstudio-ai/mlx-engine.git
  2. 2

    プロジェクトディレクトリに移動する

    cd mlx-engine
  3. 3

    必要な依存パッケージをインストールする

    pip install -U -r requirements.txt
  4. 4

    lms CLIでモデルをダウンロードして、デモを実行する

    lms get mlx-community/Meta-Llama-3.1-8B-Instruct-4bit

使う前に知っておきたいこと

  • Apple silicon搭載のmacOS 14.0以降が必要です。
  • スタンドアロンデモにはpython3.11が必要です。
  • モデルのダウンロードサイズは大きく、1つあたり数ギガバイトです。

収録されている特集

トピック

よくある質問

mlx-engine とは?
Apple silicon上でMLXモデルを実行するLLM推論エンジン。LM Studioのバックエンドとして使われます。 mlx-engineは、LM StudioがMacでモデルを読み込み、実行するためのApple MLXベースのLLMエンジンです。テキスト生成にはmlx-lm、構造化出力にはOutlines、ビジョンモデルにはmlx-vlmを利用しており、LM StudioユーザーはApple silicon上でMLX形式のモデルをローカル実行できます。
mlx-engine は無料で使えますか?ライセンスは?
mlx-engine は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
mlx-engine は今もメンテナンスされていますか?
活発にメンテナンス中。mlx-engine の最終コミットは 2026年11月3日 です。
mlx-engine は何に使えますか?
LM Studioを通じて、Mac上でLLMをローカルかつプライベートに実行する。 単体のデモスクリプトでMLXのテキストモデルやビジョンモデルを試す。 MLXのモデル推論を利用するローカルPythonアプリケーションを構築する。
mlx-engine のインストール方法は?
リポジトリをクローンする: git clone https://github.com/lmstudio-ai/mlx-engine.git プロジェクトディレクトリに移動する: cd mlx-engine 必要な依存パッケージをインストールする: pip install -U -r requirements.txt lms CLIでモデルをダウンロードして、デモを実行する: lms get mlx-community/Meta-Llama-3.1-8B-Instruct-4bit
mlx-engine はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/lmstudio-ai/mlx-engine

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト