jundot/omlx

これは何？

主な機能

• 01OpenAI互換・Anthropic互換のチャット、completion、embedding、rerankエンドポイントを提供。
• 02RAMをホット層、SSDをコールド層とする階層型KVキャッシュ。再起動後もキャッシュが保持されます。
• 03mlx-lmのBatchGeneratorによる、並行リクエスト向けcontinuous batching。
• 04LRUによる退避、ピン留め、モデルごとのTTL、メモリ上限に対応したマルチモデル提供。
• 05監視、ダウンロード、設定を行えるネイティブのメニューバーアプリとWeb管理ダッシュボード。
• 06多数のモデルファミリーのツール呼び出し形式を自動検出し、MCPにも対応。

ユースケース

• Claude Codeなどのローカルコーディングアシスタントから、Mac上のモデルを利用する。
• クラウドAPIを想定したアプリ向けに、OpenAI互換のローカルエンドポイントを提供する。
• よく使うモデルはロードしたままにし、容量の大きいモデルは必要に応じて入れ替える。
• 1台のMacで、チャットモデルと並行してembedding、reranking、OCRモデルを動かす。

クイックスタート

1. 1

   Homebrew tapを追加する

   brew tap jundot/omlx https://github.com/jundot/omlx
2. 2

   HomebrewでoMLXをインストールする

   brew install jundot/omlx/omlx
3. 3

   モデルディレクトリを指定してフォアグラウンドサーバーを起動する

   omlx serve --model-dir ~/models

使う前に知っておきたいこと

• !Apple Silicon搭載Macのみ対応。macOS 15.0以降が必要です。
• !一部のモデルファミリーではネイティブのカスタムカーネルが必要です。ソースからビルドするには、Metal toolchainを含む完全版のXcodeが必要です。

収録されている特集

トピック

よくある質問

omlx とは？

continuous batching、RAM/SSDの階層型KVキャッシュ、メニューバーからの管理に対応した、Apple Silicon Mac向けのLLM推論サーバー。 oMLXは、MLXとmlx-lmをベースに構築されたApple Silicon Mac向けのLLM推論サーバーです。ローカルアドレスでOpenAI互換およびAnthropic互換のAPIを公開するため、既存のクライアントやコーディングツールから、マシン上で動作するモデルに接続できます。テキストLLM、視覚言語モデル、OCRモデル、embeddingモデル、rerankerを1つのサーバーで提供します。

omlx は無料で使えますか？ライセンスは？

omlx は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

omlx は今もメンテナンスされていますか？

活発にメンテナンス中。omlx の最終コミットは 2026年11月5日 です。

omlx は何に使えますか？

Claude Codeなどのローカルコーディングアシスタントから、Mac上のモデルを利用する。 クラウドAPIを想定したアプリ向けに、OpenAI互換のローカルエンドポイントを提供する。 よく使うモデルはロードしたままにし、容量の大きいモデルは必要に応じて入れ替える。 1台のMacで、チャットモデルと並行してembedding、reranking、OCRモデルを動かす。

omlx のインストール方法は？

Homebrew tapを追加する: brew tap jundot/omlx https://github.com/jundot/omlx HomebrewでoMLXをインストールする: brew install jundot/omlx/omlx モデルディレクトリを指定してフォアグラウンドサーバーを起動する: omlx serve --model-dir ~/models

omlx はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/jundot/omlx