InftyAI/llmaz

これは何？

主な機能

• 01モデルとプレイグラウンドのリソースを適用するだけで、Kubernetes上にLLMサービスをデプロイできます。
• 02vLLM、TGI、SGLang、llama.cpp、TensorRT-LLMのバックエンドに対応しています。
• 03Hugging Face、ModelScope、オブジェクトストアからモデルを自動で読み込みます。
• 04LWSによる複数ホスト分散推論に対応しています。
• 05LLMベースのメトリクスを使ったHPAによるオートスケーリングと、Karpenterによるノードのオートスケーリングに対応しています。
• 06Envoy AI Gatewayを通じたトークンベースのレート制限とモデルルーティングに対応しています。

ユースケース

• GPUを備えた既存のKubernetesクラスターで、オープンウェイトLLMをホストする。
• 異種アクセラレーターを組み合わせて単一モデルを提供し、コストと性能のバランスを取る。
• 複数ホストでの分散推論が必要な大規模モデルを実行する。
• 社内チーム向けに、チャットUIを備えたOpenAI互換の補完エンドポイントを提供する。

クイックスタート

1. 1

   インストールガイドを読み、Kubernetes クラスターに llmaz をインストールします

2. 2

   モデルで必要な場合は、Hugging Face トークンの Secret を作成します

   kubectl create secret generic modelhub-secret --from-literal=HF_TOKEN=<your token>
3. 3

   OpenModel と Playground のリソースを適用して、facebook/opt-125m をデプロイします

4. 4

   サービスを localhost にポートフォワードします

   kubectl port-forward svc/opt-125m-lb 8080:8080

使う前に知っておきたいこと

• !プロジェクトはアルファ版のため、ベータ版になる前に API が変更される可能性があります。
• !デプロイには既存の Kubernetes クラスターが必要なため、セルフホスティングの手間がかかります。
• !GPU または CPU で実行するには、CPU 向けの llama.cpp の例など、追加の設定が必要です。

収録されている特集

トピック

よくある質問

llmaz とは？

vLLM、SGLang、llama.cppなどのバックエンドを切り替えて、大規模言語モデルをデプロイ・提供できるKubernetesネイティブの推論プラットフォーム。 llmazは、Kubernetes上で大規模言語モデルを動かすための推論プラットフォームです。モデルとプレイグラウンドをKubernetesリソースとして宣言すると、モデルの読み込みからサービスの公開までプラットフォームが処理するため、最小限の設定でLLMエンドポイントを作成できます。

llmaz は無料で使えますか？ライセンスは？

llmaz は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

llmaz は今もメンテナンスされていますか？

半年以内に更新あり。llmaz の最終コミットは 2026年8月27日 です。

llmaz は何に使えますか？

GPUを備えた既存のKubernetesクラスターで、オープンウェイトLLMをホストする。 異種アクセラレーターを組み合わせて単一モデルを提供し、コストと性能のバランスを取る。 複数ホストでの分散推論が必要な大規模モデルを実行する。 社内チーム向けに、チャットUIを備えたOpenAI互換の補完エンドポイントを提供する。

llmaz のインストール方法は？

インストールガイドを読み、Kubernetes クラスターに llmaz をインストールします モデルで必要な場合は、Hugging Face トークンの Secret を作成します: kubectl create secret generic modelhub-secret --from-literal=HF_TOKEN=<your token> OpenModel と Playground のリソースを適用して、facebook/opt-125m をデプロイします サービスを localhost にポートフォワードします: kubectl port-forward svc/opt-125m-lb 8080:8080

llmaz はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/InftyAI/llmaz