kaito-project/aikit

这是什么？

核心功能

• 01提供兼容 OpenAI API 的接口，可直接对接现有客户端
• 02预置 Qwen、Llama、Gemma、Phi、GPT-OSS 等模型镜像
• 03内置基于 Unsloth 的可扩展微调接口
• 04按 CNCF ModelPack 规范将模型打包为 OCI 制品
• 05支持 AMD64 和 ARM64 CPU，并支持 NVIDIA CUDA GPU 加速
• 06镜像附带 SBOM、构建溯源证明和签名

适用场景

• 在没有 GPU 的本机上用 Docker 运行开源大模型
• 将模型部署到 Kubernetes 集群，通过 OpenAI 风格接口提供服务
• 微调模型并将结果打包为 OCI 制品分发
• 在预先镜像好依赖和模型的离线环境中提供推理服务

快速上手

1. 1

   在 Docker 中启动 Qwen 3.5 4B 模型（CPU 运行，无需 GPU）

   docker run -d --rm -p 8080:8080 ghcr.io/kaito-project/aikit/qwen3.5:4b
2. 2

   在浏览器中打开 http://localhost:8080/chat 使用网页界面

3. 3

   向兼容 OpenAI 的 API 发送聊天请求

   curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "qwen-3.5-4b", "messages": [{"role": "user", "content": "explain kubernetes in a sentence"}]}'

使用前须知

• !预制模型带有各自的许可证（例如 Llama 许可证），与项目的 MIT 许可证不同。
• !AMD ROCm GPU 支持仍是实验性的，预制模型镜像基于 CUDA，AMD 用户需要自行构建镜像。
• !启动时下载模型的运行镜像默认不支持离线（air-gapped）运行。

收录于专题

标签

常见问题

aikit 是什么？

基于 Docker 的工具，用于托管、构建、微调和打包开源大模型，并提供 OpenAI 兼容接口。 AIKit 是一个用于在本地或 Kubernetes 中运行开源大语言模型的平台。推理部分基于 LocalAI，提供兼容 OpenAI API 的接口，现有的 OpenAI 客户端无需修改代码即可访问开源模型。预置的容器镜像打包了 Qwen、Llama、Gemma、Phi、GPT-OSS 等模型，一条 docker run 命令即可启动。

aikit 可以免费使用吗？用的什么许可证？

aikit 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

aikit 还在维护吗？

活跃维护中。aikit 最近一次提交是在 2026年11月2日。

aikit 适合用来做什么？

在没有 GPU 的本机上用 Docker 运行开源大模型 将模型部署到 Kubernetes 集群，通过 OpenAI 风格接口提供服务 微调模型并将结果打包为 OCI 制品分发 在预先镜像好依赖和模型的离线环境中提供推理服务

aikit 怎么安装和运行？

在 Docker 中启动 Qwen 3.5 4B 模型（CPU 运行，无需 GPU）: docker run -d --rm -p 8080:8080 ghcr.io/kaito-project/aikit/qwen3.5:4b 在浏览器中打开 http://localhost:8080/chat 使用网页界面 向兼容 OpenAI 的 API 发送聊天请求: curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "qwen-3.5-4b", "messages": [{"role": "user", "content": "explain kubernetes in a sentence"}]}'

在哪里获取 aikit？

源代码和安装说明在 GitHub 上：https://github.com/kaito-project/aikit