kaito-project/aikit

Что это?

Ключевые возможности

• 01Endpoint, совместимый с OpenAI API, для работы с существующими клиентами
• 02Готовые образы с моделями Qwen, Llama, Gemma, Phi и GPT-OSS
• 03Интерфейс для дообучения с поддержкой Unsloth
• 04Упаковка моделей в OCI-артефакты согласно CNCF ModelPack
• 05Работа на процессорах AMD64 и ARM64 с ускорением на GPU NVIDIA CUDA
• 06Образы включают SBOM, аттестации происхождения и подписи

Сценарии использования

• Запуск открытой LLM локально в Docker без GPU
• Развёртывание моделей в кластере Kubernetes с API в стиле OpenAI
• Дообучение модели и упаковка результата в OCI-артефакт
• Запуск моделей в изолированных от сети средах с использованием предварительно зеркалированных реестров

Быстрый старт

1. 1

   Запустите модель Qwen 3.5 4B в Docker (на CPU, GPU не требуется).

   docker run -d --rm -p 8080:8080 ghcr.io/kaito-project/aikit/qwen3.5:4b
2. 2

   Откройте WebUI по адресу http://localhost:8080/chat

3. 3

   Отправьте запрос на чат в API, совместимый с OpenAI.

   curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "qwen-3.5-4b", "messages": [{"role": "user", "content": "explain kubernetes in a sentence"}]}'

Что важно знать

• !Для готовых моделей действуют собственные лицензии, например лицензия Llama, которые отличаются от лицензии MIT проекта.
• !Поддержка GPU AMD ROCm является экспериментальной, а готовые образы моделей основаны на CUDA, поэтому пользователям AMD необходимо собирать собственные образы.
• !Образы Runner, загружающие модели при запуске, по умолчанию не предназначены для использования в изолированной от сети среде.

В подборках

Темы

Частые вопросы

Что такое aikit?

Набор инструментов на базе Docker для запуска, сборки, дообучения и упаковки открытых LLM с OpenAI-совместимым API. AIKit — платформа для запуска открытых больших языковых моделей локально или в Kubernetes. Для инференса она использует LocalAI и предоставляет endpoint, совместимый с OpenAI API, поэтому существующие клиенты OpenAI могут отправлять запросы к открытым моделям без изменений кода. Готовые образы контейнеров включают конкретные модели, например Qwen, Llama, Gemma, Phi и GPT-OSS, и запускаются одной командой docker run.

aikit можно использовать бесплатно? Какая у него лицензия?

aikit распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

aikit всё ещё поддерживается?

Активно поддерживается. Последний коммит в aikit — 2 нояб. 2026 г..

Для чего можно использовать aikit?

Запуск открытой LLM локально в Docker без GPU Развёртывание моделей в кластере Kubernetes с API в стиле OpenAI Дообучение модели и упаковка результата в OCI-артефакт Запуск моделей в изолированных от сети средах с использованием предварительно зеркалированных реестров

Как установить aikit?

Запустите модель Qwen 3.5 4B в Docker (на CPU, GPU не требуется).: docker run -d --rm -p 8080:8080 ghcr.io/kaito-project/aikit/qwen3.5:4b Откройте WebUI по адресу http://localhost:8080/chat Отправьте запрос на чат в API, совместимый с OpenAI.: curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "qwen-3.5-4b", "messages": [{"role": "user", "content": "explain kubernetes in a sentence"}]}'

Где скачать aikit?

Исходный код и инструкции по установке — на GitHub: https://github.com/kaito-project/aikit