Apple Silicon上でMLXを使い、1枚の画像に対する候補回答を採点する視覚言語モデル推論の学習用プロジェクト。
lmstudio-ai/mlx-engine
Apple silicon上でMLXモデルを実行するLLM推論エンジン。LM Studioのバックエンドとして使われます。
- スター
- 1,200
- フォーク
- 138
- 未解決の Issue
- 97
- 最終コミット
- 4 日前
これは何?
mlx-engineは、LM StudioがMacでモデルを読み込み、実行するためのApple MLXベースのLLMエンジンです。テキスト生成にはmlx-lm、構造化出力にはOutlines、ビジョンモデルにはmlx-vlmを利用しており、LM StudioユーザーはApple silicon上でMLX形式のモデルをローカル実行できます。
リポジトリには、MLXのテキストモデルまたはビジョンモデルを読み込み、プロンプトに対する応答を生成する単体のデモスクリプトdemo.pyが含まれています。画像や、投機的デコーディング用のドラフトモデルも任意で指定できます。モデルのダウンロードにはLM Studioのlms CLIを使います。対応するビジョンモデルには、Llama-3.2-Vision、Pixtral、Qwen2-VL、Llava-v1.6があります。
macOS 14以降とPython 3.11が必要で、MITライセンスで公開されています。
主な機能
- 01Apple silicon搭載Macで、MLX形式のテキストLLMを実行できます。
- 02Pixtral、Qwen2-VL、Llama-3.2-Visionなどのビジョンモデルに対応しています。
- 03別のドラフトモデルを使った投機的デコーディングに対応しています。
- 04Outlinesによる構造化出力に対応しています。
- 05Mac向けLM Studio 0.3.4以降に標準搭載のエンジンとして提供されています。
ユースケース
- LM Studioを通じて、Mac上でLLMをローカルかつプライベートに実行する。
- 単体のデモスクリプトでMLXのテキストモデルやビジョンモデルを試す。
- MLXのモデル推論を利用するローカルPythonアプリケーションを構築する。
クイックスタート
- 1
リポジトリをクローンする
git clone https://github.com/lmstudio-ai/mlx-engine.git - 2
プロジェクトディレクトリに移動する
cd mlx-engine - 3
必要な依存パッケージをインストールする
pip install -U -r requirements.txt - 4
lms CLIでモデルをダウンロードして、デモを実行する
lms get mlx-community/Meta-Llama-3.1-8B-Instruct-4bit
使う前に知っておきたいこと
- Apple silicon搭載のmacOS 14.0以降が必要です。
- スタンドアロンデモにはpython3.11が必要です。
- モデルのダウンロードサイズは大きく、1つあたり数ギガバイトです。
収録されている特集
トピック
よくある質問
- mlx-engine とは?
- Apple silicon上でMLXモデルを実行するLLM推論エンジン。LM Studioのバックエンドとして使われます。 mlx-engineは、LM StudioがMacでモデルを読み込み、実行するためのApple MLXベースのLLMエンジンです。テキスト生成にはmlx-lm、構造化出力にはOutlines、ビジョンモデルにはmlx-vlmを利用しており、LM StudioユーザーはApple silicon上でMLX形式のモデルをローカル実行できます。
- mlx-engine は無料で使えますか?ライセンスは?
- mlx-engine は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- mlx-engine は今もメンテナンスされていますか?
- 活発にメンテナンス中。mlx-engine の最終コミットは 2026年11月3日 です。
- mlx-engine は何に使えますか?
- LM Studioを通じて、Mac上でLLMをローカルかつプライベートに実行する。 単体のデモスクリプトでMLXのテキストモデルやビジョンモデルを試す。 MLXのモデル推論を利用するローカルPythonアプリケーションを構築する。
- mlx-engine のインストール方法は?
- リポジトリをクローンする: git clone https://github.com/lmstudio-ai/mlx-engine.git プロジェクトディレクトリに移動する: cd mlx-engine 必要な依存パッケージをインストールする: pip install -U -r requirements.txt lms CLIでモデルをダウンロードして、デモを実行する: lms get mlx-community/Meta-Llama-3.1-8B-Instruct-4bit
- mlx-engine はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/lmstudio-ai/mlx-engine
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
Apple Silicon搭載Mac向けのネイティブなローカルLLM・メディアサーバー。Python不要で、OpenAI、Anthropic、Ollama互換APIを利用できます。
手持ちのデバイスを1つのAIクラスターにまとめ、複数のMacや他のマシンで大規模モデルをローカル実行できます。
continuous batching、RAM/SSDの階層型KVキャッシュ、メニューバーからの管理に対応した、Apple Silicon Mac向けのLLM推論サーバー。
Apple Silicon向けのセルフホスト型MLX推論サーバー。LLM、VLM、画像生成でOpenAI、Anthropic、Ollama互換APIを利用できます。
SSDからエキスパートをストリーミングすることで、16〜64 GBのApple Silicon Mac上で105 GBのQwen3.8-Flash-Next 4-bitモデルを実行するネイティブSwiftエンジン。