magnitudedev/magnitude

これは何？

主な機能

• 01ローカルのチップ上でモデルごとにカーネルを調整し、高速な実行設定を見つけます。
• 02Apple Silicon、NVIDIAおよびAMDのGPU、またはCPUのみで動作します。
• 03各モデル向けの投機的デコーディング用ドラフターを内蔵しています。
• 04量子化KVキャッシュで、エージェントセッションごとのメモリ使用量を削減します。
• 05並行するセッション間でプレフィックスキャッシュを共有します。
• 06OpenAI互換APIと、エージェントをワンクリックで接続する機能を提供します。

ユースケース

• MacやNVIDIAワークステーションでオープンウェイトLLMをローカル実行し、コーディングエージェントに利用する。
• LinuxまたはmacOSサーバーでローカルモデルをホストし、複数のマシンから利用する。
• クラウド推論APIを使わず、プロンプトやファイルを非公開に保つ。

クイックスタート

1. 1

   リリースページからMagnitudeをダウンロードしてインストールします

2. 2

   アプリを開き、Discoverでおすすめのモデルを選んでダウンロードします

3. 3

   Connectionsでエージェントを接続して、使い始めます

使う前に知っておきたいこと

• !モデルのダウンロード時にカーネルのチューニングが実行され、最大1分ほどかかることがあります。
• !サーバーのセットアップ方法はLinuxとmacOSのみで案内されています。

トピック

よくある質問

magnitude とは？

Apple Silicon、NVIDIA、AMD、CPU向けにカーネルを調整し、オープンモデルを高速実行するオープンソース推論エンジン。 Magnitudeは、オープンウェイトモデルをローカルで実行するための推論エンジンです。モデルをダウンロードすると、GPUスレッドを何個連携させるか、データをどれだけ先読みするかなど、実際のチップ上で計算を分割する方法を複数試し、モデルの出力を変えずに最も高速な設定を採用します。プロジェクトによると、MacおよびNVIDIA環境で人気のローカルモデルを実行した場合、平均してOllamaより約2倍高速です。

magnitude は無料で使えますか？ライセンスは？

magnitude は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

magnitude は今もメンテナンスされていますか？

活発にメンテナンス中。magnitude の最終コミットは 2026年10月19日 です。

magnitude は何に使えますか？

MacやNVIDIAワークステーションでオープンウェイトLLMをローカル実行し、コーディングエージェントに利用する。 LinuxまたはmacOSサーバーでローカルモデルをホストし、複数のマシンから利用する。 クラウド推論APIを使わず、プロンプトやファイルを非公開に保つ。

magnitude のインストール方法は？

リリースページからMagnitudeをダウンロードしてインストールします アプリを開き、Discoverでおすすめのモデルを選んでダウンロードします Connectionsでエージェントを接続して、使い始めます

magnitude はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/magnitudedev/magnitude