Repolode
投稿する
defilantech

defilantech/LLMKube

NVIDIA、AMD、Apple Siliconの各ハードウェアでセルフホストLLMを実行するKubernetes Operator。共通のCRDとOpenAI互換エンドポイントを提供します。

GitHub で見る公式サイト
スター
251
フォーク
43
未解決の Issue
107
最終コミット
10 時間前

これは何？

LLMKubeは、セルフホスト型LLMの推論をデプロイ・管理するためのKubernetes Operatorです。YAMLでModelとInferenceServiceを定義すると、モデルのダウンロードとキャッシュ、GPUスケジューリング、ヘルスチェック、スケーリング、OpenAI互換APIの公開をOperatorが担います。クラスター内でllama.cpp、vLLM、TGIの各ランタイムを利用できます。

特長は、Apple Silicon上で推論を実行できることです。Metal Agentはllama-server、mlx-server、vllm-swiftをMetal GPUにアクセスできるネイティブなmacOSプロセスとして実行し、コントローラーはこれらを通常のKubernetes Serviceとして公開します。これにより、同じCRDのもとでNVIDIA、AMD（Vulkan）、Intel、Macのホストを1つのクラスターにまとめられます。

ModelRouterリソースを使うと、ローカルのInferenceServiceやAnthropic、OpenAI、LiteLLMなどの外部プロバイダーの前段に、ポリシーに対応したOpenAI互換エンドポイントを配置できます。ルールを設定すれば、PIIに分類されたリクエストをローカルにとどめ、クラウドバックエンドへのフォールバックの代わりにHTTP 503を返せます。また、同じホスト群でコーディングエージェントを実行する、オプトイン方式のオーケストレーターForemanも含まれています。

主な機能

  • 01宣言的なLLMデプロイに対応するKubernetes CRD（Model、InferenceService）
  • 02クラスター内のllama.cpp、vLLM、TGIに加え、Apple Silicon上でネイティブに動作するllama-server、mlx-server、vllm-swiftを利用可能
  • 03NVIDIA CUDA、Vulkan経由のAMD、Intel GPU、Apple Metalに対応し、1つのホスト群で利用可能
  • 04ストリーミング対応のOpenAI互換/v1/chat/completionsエンドポイント
  • 05フェイルクローズルールを備え、ポリシーに基づいてローカルモデルとクラウドモデル間を振り分けるModelRouter
  • 06Prometheusメトリクス、OpenTelemetryトレーシング、Grafanaダッシュボードを同梱

ユースケース

  • Kubernetes上で、オンプレミス環境やエアギャップ環境のLLM推論を実行する
  • Mac StudioホストとNVIDIAサーバーを1つの管理された推論クラスターにまとめる
  • 規制対象データをローカルモデルに送り、それ以外のリクエストをクラウドプロバイダーに振り分ける
  • 複数GPUや異種ハードウェアでのモデルサービングを行いたいホームラボ環境

クイックスタート

  1. 1

    HomebrewでCLIをインストールする

    brew install defilantech/tap/llmkube
  2. 2

    HelmでKubernetesクラスターにoperatorをインストールする

    helm repo add llmkube https://defilantech.github.io/LLMKube
  3. 3

    CLIでモデルをデプロイする

    llmkube deploy phi-4-mini
  4. 4

    サービスをポートフォワードして、OpenAI互換のエンドポイントにクエリを送信する

    kubectl port-forward svc/phi-4-mini 8080:8080 &

使う前に知っておきたいこと

  • Kubernetesクラスターが必要なため、1台のマシンで1つのモデルを実行するだけなら大げさな構成です。
  • Apple Siliconのサポートには、Mac上で別途metal-agentを実行する必要があります。

収録されている特集

セルフホスト型アプリLLM をローカルで動かすオープンソースの Mac アプリGPU で AI を学習・実行するツール

トピック

#llm-inference#kubernetes-operator#self-hosted#apple-silicon#gpu#llama-cpp#openai-compatible#local-llm#ai#autoscaling

よくある質問

LLMKube とは？
NVIDIA、AMD、Apple Siliconの各ハードウェアでセルフホストLLMを実行するKubernetes Operator。共通のCRDとOpenAI互換エンドポイントを提供します。 LLMKubeは、セルフホスト型LLMの推論をデプロイ・管理するためのKubernetes Operatorです。YAMLでModelとInferenceServiceを定義すると、モデルのダウンロードとキャッシュ、GPUスケジューリング、ヘルスチェック、スケーリング、OpenAI互換APIの公開をOperatorが担います。クラスター内でllama.cpp、vLLM、TGIの各ランタイムを利用できます。
LLMKube は無料で使えますか？ライセンスは？
LLMKube は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
LLMKube は今もメンテナンスされていますか？
活発にメンテナンス中。LLMKube の最終コミットは 2026年11月6日 です。
LLMKube は何に使えますか？
Kubernetes上で、オンプレミス環境やエアギャップ環境のLLM推論を実行する Mac StudioホストとNVIDIAサーバーを1つの管理された推論クラスターにまとめる 規制対象データをローカルモデルに送り、それ以外のリクエストをクラウドプロバイダーに振り分ける 複数GPUや異種ハードウェアでのモデルサービングを行いたいホームラボ環境
LLMKube のインストール方法は？
HomebrewでCLIをインストールする: brew install defilantech/tap/llmkube HelmでKubernetesクラスターにoperatorをインストールする: helm repo add llmkube https://defilantech.github.io/LLMKube CLIでモデルをデプロイする: llmkube deploy phi-4-mini サービスをポートフォワードして、OpenAI互換のエンドポイントにクエリを送信する: kubectl port-forward svc/phi-4-mini 8080:8080 &
LLMKube はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/defilantech/LLMKube

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト