SSDからエキスパートをストリーミングすることで、16〜64 GBのApple Silicon Mac上で105 GBのQwen3.8-Flash-Next 4-bitモデルを実行するネイティブSwiftエンジン。
Generated-Computers/Locals
macOS搭載のApple silicon向けローカル推論サーバー。バッチデコードと文法制約付きツール呼び出しで、多数のAIコーディングエージェントを同時に動かせます。
- スター
- 635
- フォーク
- 40
- 未解決の Issue
- 7
- 最終コミット
- 22 時間前
これは何?
Localsは、通常のチャットではなくエージェント向けに設計されたMac用のローカルモデルサーバーです。エージェントからのツール呼び出しや長い会話、並列リクエストを、バッチGPUカーネル、各ツールのスキーマに沿って制約されたツール呼び出し出力、ターン間や再起動後も保持されるプロンプトキャッシュで処理します。READMEによると、M2 Pro(16 GB)でQwen3.5-4Bを使用し、8件のリクエストを同時に実行した場合、mlx-lmの最大3倍のスループットを実現します。
OpenAI、Anthropic、Ollama互換APIを提供するため、OpenCode、Cline、Aider、OpenHands、Claude Code、Hermes Agentなどのツールを、たとえば`locals code ~/my-project`のような起動コマンドひとつで接続できます。また、タスクを複数のエージェントに分割し、それぞれがプロジェクトの独立したコピーで作業してプロジェクトのテストで検証する`locals run`モードも備えています。すべてローカルマシン上で動作し、macOS 14以降を搭載したApple siliconが必要です。
主な機能
- 01複数のエージェントリクエストをGPUの1回の処理でまとめて実行するバッチデコード。
- 02ツール呼び出しをツールのスキーマに沿って制約し、引数の型を適合させます。
- 03ターン間や再起動後も保持される、プロンプトと会話のキャッシュ。
- 04OpenAI、Anthropic、Ollamaの各APIと互換性があります。
- 05OpenCode、Aider、Cline、OpenHands、Claude Codeなどをコマンドひとつで起動できます。
- 06プロジェクトの分離コピーで各タスクをテストする、マルチエージェント対応の`locals run`モード。
ユースケース
- コードをクラウドAPIに送信せず、Mac上で複数のコーディングエージェントを並列実行する。
- ノートPC上で動作するモデルを使い、OpenCodeやAiderでローカルプロジェクトに取り組む。
- ClineやRoo Codeなどのエディター拡張機能向けに、ローカルのOpenAI互換エンドポイントを提供する。
- 長くキャッシュされたコンテキストを使って、大規模なコードベースやドキュメントについて質問する。
クイックスタート
- 1
README にある公式インストールスクリプトを実行します
- 2
または uv を使って PyPI からインストールします
uv tool install --python 3.12 locals - 3
新しい Terminal ウィンドウを開き、プロジェクトで OpenCode を起動します
locals code ~/my-project
使う前に知っておきたいこと
- Apple silicon 搭載の macOS でのみ動作します。
- Flint の実行には 24 GB 以上のメモリが必要です。また、Flint の最新リリースはまだ PyPI で公開されていません。
- 一部のチップ(M1、M3、M4)は、まだベンチマークされていません。
収録されている特集
トピック
よくある質問
- Locals とは?
- macOS搭載のApple silicon向けローカル推論サーバー。バッチデコードと文法制約付きツール呼び出しで、多数のAIコーディングエージェントを同時に動かせます。 Localsは、通常のチャットではなくエージェント向けに設計されたMac用のローカルモデルサーバーです。エージェントからのツール呼び出しや長い会話、並列リクエストを、バッチGPUカーネル、各ツールのスキーマに沿って制約されたツール呼び出し出力、ターン間や再起動後も保持されるプロンプトキャッシュで処理します。READMEによると、M2 Pro(16 GB)でQwen3.5-4Bを使用し、8件のリクエストを同時に実行した場合、mlx-lmの最大3倍のスループットを実現します。
- Locals は無料で使えますか?ライセンスは?
- Locals は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- Locals は今もメンテナンスされていますか?
- 活発にメンテナンス中。Locals の最終コミットは 2026年11月6日 です。
- Locals は何に使えますか?
- コードをクラウドAPIに送信せず、Mac上で複数のコーディングエージェントを並列実行する。 ノートPC上で動作するモデルを使い、OpenCodeやAiderでローカルプロジェクトに取り組む。 ClineやRoo Codeなどのエディター拡張機能向けに、ローカルのOpenAI互換エンドポイントを提供する。 長くキャッシュされたコンテキストを使って、大規模なコードベースやドキュメントについて質問する。
- Locals のインストール方法は?
- README にある公式インストールスクリプトを実行します または uv を使って PyPI からインストールします: uv tool install --python 3.12 locals 新しい Terminal ウィンドウを開き、プロジェクトで OpenCode を起動します: locals code ~/my-project
- Locals はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/Generated-Computers/Locals
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
Apple silicon搭載Mac向けのローカルLLM推論エンジン。投機的デコードとMetalカーネルを使い、コーディングエージェントやOpenAI/Anthropic互換APIにモデルを提供します。
手持ちのデバイスを1つのAIクラスターにまとめ、複数のMacや他のマシンで大規模モデルをローカル実行できます。
continuous batching、RAM/SSDの階層型KVキャッシュ、メニューバーからの管理に対応した、Apple Silicon Mac向けのLLM推論サーバー。
Apple Silicon搭載Mac向けのネイティブなローカルLLM・メディアサーバー。Python不要で、OpenAI、Anthropic、Ollama互換APIを利用できます。
MLXでApple Silicon Mac上にオープンモデルを動かし、Claude Codeをオフラインで使えるAPI互換サーバーを提供します。