kaito-project/aikit

¿Qué es?

Funciones clave

• 01Endpoint compatible con la API de OpenAI para usar con clientes existentes
• 02Imágenes listas para usar con los modelos Qwen, Llama, Gemma, Phi y GPT-OSS
• 03Interfaz de ajuste fino compatible con Unsloth
• 04Empaquetado de modelos como artefactos OCI según CNCF ModelPack
• 05Ejecución en CPU AMD64 y ARM64, con aceleración de GPU NVIDIA CUDA
• 06Imágenes con SBOM, atestaciones de procedencia y firmas

Casos de uso

• Ejecutar localmente un LLM abierto con Docker y sin GPU
• Implementar modelos en un clúster de Kubernetes detrás de una API al estilo de OpenAI
• Ajustar un modelo y empaquetar el resultado como artefacto OCI
• Servir modelos en entornos aislados de Internet mediante registros replicados previamente

Inicio rápido

1. 1

   Inicia el modelo Qwen 3.5 4B en Docker (CPU; no necesitas GPU).

   docker run -d --rm -p 8080:8080 ghcr.io/kaito-project/aikit/qwen3.5:4b
2. 2

   Abre la WebUI en http://localhost:8080/chat

3. 3

   Envía una solicitud de chat a la API compatible con OpenAI.

   curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "qwen-3.5-4b", "messages": [{"role": "user", "content": "explain kubernetes in a sentence"}]}'

Antes de usarlo

• !Los modelos preconfigurados tienen sus propias licencias, como la licencia de Llama, que difieren de la licencia MIT del proyecto.
• !La compatibilidad con GPU AMD ROCm es experimental y las imágenes de modelos preconfiguradas se basan en CUDA, por lo que los usuarios de AMD deben crear sus propias imágenes.
• !Las imágenes de Runner que descargan modelos al iniciarse no funcionan en entornos aislados de la red de forma predeterminada.

En colecciones

Temas

Preguntas frecuentes

¿Qué es aikit?

Kit de herramientas basado en Docker para alojar, crear, ajustar y empaquetar LLM de código abierto detrás de una API compatible con OpenAI. AIKit es una plataforma para ejecutar modelos de lenguaje grandes de código abierto localmente o en Kubernetes. Utiliza LocalAI para la inferencia y ofrece un endpoint compatible con la API de OpenAI, de modo que los clientes existentes de OpenAI pueden enviar solicitudes a modelos abiertos sin cambiar el código. Las imágenes de contenedor listas para usar incluyen modelos específicos como Qwen, Llama, Gemma, Phi y GPT-OSS, y se pueden iniciar con un solo comando docker run.

¿aikit es gratuito? ¿Qué licencia tiene?

aikit es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.

¿aikit sigue mantenido?

Mantenimiento activo. El último commit de aikit fue el 2 nov 2026.

¿Para qué puedo usar aikit?

Ejecutar localmente un LLM abierto con Docker y sin GPU Implementar modelos en un clúster de Kubernetes detrás de una API al estilo de OpenAI Ajustar un modelo y empaquetar el resultado como artefacto OCI Servir modelos en entornos aislados de Internet mediante registros replicados previamente

¿Cómo se instala aikit?

Inicia el modelo Qwen 3.5 4B en Docker (CPU; no necesitas GPU).: docker run -d --rm -p 8080:8080 ghcr.io/kaito-project/aikit/qwen3.5:4b Abre la WebUI en http://localhost:8080/chat Envía una solicitud de chat a la API compatible con OpenAI.: curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "qwen-3.5-4b", "messages": [{"role": "user", "content": "explain kubernetes in a sentence"}]}'

¿Dónde consigo aikit?

El código fuente y las instrucciones de instalación están en GitHub: https://github.com/kaito-project/aikit