kaito-project/aikit

O que é?

Recursos principais

• 01Endpoint compatível com a API da OpenAI para uso com clientes existentes
• 02Imagens prontas para os modelos Qwen, Llama, Gemma, Phi e GPT-OSS
• 03Interface de fine-tuning com suporte a Unsloth
• 04Empacotamento de modelos como artefatos OCI seguindo o CNCF ModelPack
• 05Execução em CPUs AMD64 e ARM64, com aceleração por GPUs NVIDIA CUDA
• 06Imagens incluem SBOMs, atestações de proveniência e assinaturas

Casos de uso

• Executar um LLM aberto localmente com Docker e sem GPU
• Implantar modelos em um cluster Kubernetes por trás de uma API no estilo da OpenAI
• Ajustar um modelo e empacotar o resultado como artefato OCI
• Disponibilizar modelos em ambientes isolados da rede usando registries pré-espelhados

Início rápido

1. 1

   Inicie o modelo Qwen 3.5 4B no Docker (CPU; não é necessário ter GPU).

   docker run -d --rm -p 8080:8080 ghcr.io/kaito-project/aikit/qwen3.5:4b
2. 2

   Abra a WebUI em http://localhost:8080/chat

3. 3

   Envie uma solicitação de chat para a API compatível com OpenAI.

   curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "qwen-3.5-4b", "messages": [{"role": "user", "content": "explain kubernetes in a sentence"}]}'

Antes de usar

• !Os modelos pré-configurados têm suas próprias licenças, como a licença Llama, que são diferentes da licença MIT do projeto.
• !O suporte a GPU AMD ROCm é experimental e as imagens de modelo pré-configuradas são baseadas em CUDA; por isso, usuários de AMD precisam criar suas próprias imagens.
• !As imagens do Runner que baixam modelos na inicialização não funcionam em ambientes isolados da rede por padrão.

Em coleções

Tópicos

Perguntas frequentes

O que é aikit?

Kit de ferramentas baseado em Docker para hospedar, criar, ajustar e empacotar LLMs de código aberto por trás de uma API compatível com a OpenAI. O AIKit é uma plataforma para executar modelos de linguagem grandes e abertos localmente ou no Kubernetes. Ele usa o LocalAI para inferência e oferece um endpoint compatível com a API da OpenAI, permitindo que clientes existentes enviem solicitações a modelos abertos sem alterações no código. Imagens de container prontas incluem modelos específicos, como Qwen, Llama, Gemma, Phi e GPT-OSS, e podem ser iniciadas com um único comando docker run.

aikit é gratuito? Qual é a licença?

aikit é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.

aikit ainda é mantido?

Manutenção ativa. O último commit de aikit foi em 2 de nov. de 2026.

Para que posso usar aikit?

Executar um LLM aberto localmente com Docker e sem GPU Implantar modelos em um cluster Kubernetes por trás de uma API no estilo da OpenAI Ajustar um modelo e empacotar o resultado como artefato OCI Disponibilizar modelos em ambientes isolados da rede usando registries pré-espelhados

Como instalar aikit?

Inicie o modelo Qwen 3.5 4B no Docker (CPU; não é necessário ter GPU).: docker run -d --rm -p 8080:8080 ghcr.io/kaito-project/aikit/qwen3.5:4b Abra a WebUI em http://localhost:8080/chat Envie uma solicitação de chat para a API compatível com OpenAI.: curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "qwen-3.5-4b", "messages": [{"role": "user", "content": "explain kubernetes in a sentence"}]}'

Onde consigo aikit?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/kaito-project/aikit