mostlygeek/llama-swap

これは何？

主な機能

• 01外部依存のない、単一バイナリと設定ファイル1つで構成。
• 02llama.cpp、vLLM、stable-diffusion.cpp、ComfyUIなど、OpenAI互換サーバーをオンデマンドで切り替え。
• 03OpenAI、Anthropic、llama-server互換のエンドポイントを単一のアドレスで提供。
• 04プレイグラウンド、トークン使用状況、手動のロード・アンロード操作を備えた組み込みWeb UI。
• 05リアルタイムのログストリーミングとPrometheusメトリクス。
• 06APIキーによるアクセス制御と、設定可能なTTL経過後の自動アンロード。

ユースケース

• 1台のGPUで複数のローカルチャット、コーディング、埋め込みモデルを動かし、モデル名で切り替える。
• 異なるバックエンドに対応できるOpenAI互換エンドポイントをローカルツールに提供する。
• APIキーとモニタリングを備えた共有ローカル推論サーバーを、小規模なチーム向けにホストする。

クイックスタート

1. 1

   Homebrewでインストール（macOS/Linux）

   brew tap mostlygeek/llama-swap
2. 2

   llama-swapのformulaをインストール

   brew install llama-swap
3. 3

   設定ファイルを指定してllama-swapを起動

   llama-swap --config path/to/config.yaml --listen localhost:8080

使う前に知っておきたいこと

• !自分のモデルサーバーのコマンドとモデルファイルを指定するYAML設定ファイルを作成する必要があります。

収録されている特集

トピック

よくある質問

llama-swap とは？

llama.cppやvLLMなどのローカルAIモデルサーバーを、OpenAI・Anthropic互換の単一エンドポイントの背後でホットスワップできる軽量なGo製プロキシ。 llama-swapは、1台のマシンで複数のローカル生成AIモデルを実行し、必要に応じて切り替えます。llama.cppのllama-server、vLLM、stable-diffusion.cpp、ComfyUIなどの推論サーバーの前段に配置し、リクエストでモデルが指定されると対応するサーバーを起動して、稼働中のサーバーを停止します。

llama-swap は無料で使えますか？ライセンスは？

llama-swap は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

llama-swap は今もメンテナンスされていますか？

活発にメンテナンス中。llama-swap の最終コミットは 2026年11月6日 です。

llama-swap は何に使えますか？

1台のGPUで複数のローカルチャット、コーディング、埋め込みモデルを動かし、モデル名で切り替える。 異なるバックエンドに対応できるOpenAI互換エンドポイントをローカルツールに提供する。 APIキーとモニタリングを備えた共有ローカル推論サーバーを、小規模なチーム向けにホストする。

llama-swap のインストール方法は？

Homebrewでインストール（macOS/Linux）: brew tap mostlygeek/llama-swap llama-swapのformulaをインストール: brew install llama-swap 設定ファイルを指定してllama-swapを起動: llama-swap --config path/to/config.yaml --listen localhost:8080

llama-swap はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/mostlygeek/llama-swap