kaito-project/aikit

これは何？

主な機能

• 01既存のクライアントで利用できるOpenAI API互換エンドポイント
• 02Qwen、Llama、Gemma、Phi、GPT-OSSモデル向けの事前作成済みイメージ
• 03Unslothに対応したファインチューニング用インターフェース
• 04CNCF ModelPackに準拠した、モデルのOCIアーティファクト化
• 05AMD64およびARM64 CPUで動作し、NVIDIA CUDA GPUアクセラレーションにも対応
• 06SBOM、来歴証明、署名を含むイメージ

ユースケース

• GPUを使わずにDockerでオープンLLMをローカル実行する
• OpenAI形式のAPIを介してKubernetesクラスターにモデルをデプロイする
• モデルをファインチューニングし、結果をOCIアーティファクトとしてパッケージ化する
• 事前にミラーリングしたレジストリを使い、エアギャップ環境でモデルを提供する

クイックスタート

1. 1

   DockerでQwen 3.5 4Bモデルを起動する（CPUを使用。GPUは不要）

   docker run -d --rm -p 8080:8080 ghcr.io/kaito-project/aikit/qwen3.5:4b
2. 2

   http://localhost:8080/chat でWebUIを開く

3. 3

   OpenAI互換APIにチャットリクエストを送信する

   curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "qwen-3.5-4b", "messages": [{"role": "user", "content": "explain kubernetes in a sentence"}]}'

使う前に知っておきたいこと

• !あらかじめ用意されたモデルにはLlamaライセンスなど、それぞれ独自のライセンスが適用されており、プロジェクトのMITライセンスとは異なります。
• !AMD ROCmのGPUサポートは実験的で、あらかじめ用意されたモデルイメージはCUDAベースのため、AMDユーザーは独自のイメージをビルドする必要があります。
• !起動時にモデルをダウンロードするRunnerイメージは、デフォルトではエアギャップ環境に対応していません。

収録されている特集

トピック

よくある質問

aikit とは？

オープンソースLLMをホスト、ビルド、ファインチューニングし、OpenAI互換APIで提供するDockerベースのツールキット。 AIKitは、オープンな大規模言語モデルをローカルまたはKubernetes上で実行するためのプラットフォームです。推論にはLocalAIを使用し、OpenAI API互換のエンドポイントを公開するため、既存のOpenAIクライアントからコードを変更せずにオープンモデルへリクエストを送れます。Qwen、Llama、Gemma、Phi、GPT-OSSなど、特定のモデルを含む事前作成済みコンテナイメージが用意されており、単一のdocker runコマンドで起動できます。

aikit は無料で使えますか？ライセンスは？

aikit は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

aikit は今もメンテナンスされていますか？

活発にメンテナンス中。aikit の最終コミットは 2026年11月2日 です。

aikit は何に使えますか？

GPUを使わずにDockerでオープンLLMをローカル実行する OpenAI形式のAPIを介してKubernetesクラスターにモデルをデプロイする モデルをファインチューニングし、結果をOCIアーティファクトとしてパッケージ化する 事前にミラーリングしたレジストリを使い、エアギャップ環境でモデルを提供する

aikit のインストール方法は？

DockerでQwen 3.5 4Bモデルを起動する（CPUを使用。GPUは不要）: docker run -d --rm -p 8080:8080 ghcr.io/kaito-project/aikit/qwen3.5:4b http://localhost:8080/chat でWebUIを開く OpenAI互換APIにチャットリクエストを送信する: curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "qwen-3.5-4b", "messages": [{"role": "user", "content": "explain kubernetes in a sentence"}]}'

aikit はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/kaito-project/aikit