jjang-ai/vmlx

これは何？

主な機能

• 01OpenAI、Anthropic、Ollama互換のチャット、補完、埋め込み、rerankエンドポイントを提供します。
• 02prefix、paged、ディスクの各キャッシュ層を備え、q4/q8のキャッシュ量子化も選択できます。
• 03continuous batchingとspeculative decodingまたはprompt lookup decodingにより、生成を高速化します。
• 04多くのモデルファミリーに対応するtool callingおよびreasoning（思考）parserを自動検出します。
• 05FluxおよびQwen Image Editモデルによる画像生成・編集に対応します。
• 06複数のMacにまたがる分散pipeline parallelismにより、大規模モデルを実行できます。

ユースケース

• データをクラウドAPIに送信せず、Mac上でオープンウェイトのチャットモデルをプライベートに実行する。
• 開発中に、既存のOpenAIまたはAnthropic SDKのコードからローカルモデルに接続する。
• 1つのAPIゲートウェイを通じて、複数のツールにローカルモデルを同時に提供する。
• Apple Silicon搭載ハードウェア上で画像をローカル生成・編集する。

クイックスタート

1. 1

   Homebrewでuvをインストールする

   brew install uv
2. 2

   PyPIからツールとしてvmlxをインストールする

   uv tool install vmlx
3. 3

   mlx-communityのモデルを指定してサーバーを起動する

   vmlx serve mlx-community/Qwen3-8B-4bit

使う前に知っておきたいこと

• !Apple Silicon搭載Macでのみ動作するため、Linux、Windows、Intel Macでは動作しません。
• !Python 3.10以降が必要です。

収録されている特集

トピック

よくある質問

vmlx とは？

Apple Silicon向けのセルフホスト型MLX推論サーバー。LLM、VLM、画像生成でOpenAI、Anthropic、Ollama互換APIを利用できます。 vMLXは、Apple Silicon搭載のMacで大規模言語モデル、視覚言語モデル、画像生成モデルをローカル実行するための推論サーバーです。OpenAI、Anthropic、Ollama互換のHTTPエンドポイントを提供するため、OpenAI Python clientやAnthropic SDK、Ollama CLIなどの既存SDKやツールを、サードパーティのAPIキーなしでローカルサーバーに接続できます。モデルはHugging Faceのリポジトリまたはローカルパスから読み込めます。最初に試すモデルとしてはmlx-communityのモデルが一般的です。

vmlx は無料で使えますか？ライセンスは？

vmlx は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

vmlx は今もメンテナンスされていますか？

活発にメンテナンス中。vmlx の最終コミットは 2026年10月21日 です。

vmlx は何に使えますか？

データをクラウドAPIに送信せず、Mac上でオープンウェイトのチャットモデルをプライベートに実行する。 開発中に、既存のOpenAIまたはAnthropic SDKのコードからローカルモデルに接続する。 1つのAPIゲートウェイを通じて、複数のツールにローカルモデルを同時に提供する。 Apple Silicon搭載ハードウェア上で画像をローカル生成・編集する。

vmlx のインストール方法は？

Homebrewでuvをインストールする: brew install uv PyPIからツールとしてvmlxをインストールする: uv tool install vmlx mlx-communityのモデルを指定してサーバーを起動する: vmlx serve mlx-community/Qwen3-8B-4bit

vmlx はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/jjang-ai/vmlx