kaito-project/aikit

어떤 프로젝트인가요?

핵심 기능

• 01기존 클라이언트에서 사용할 수 있는 OpenAI API 호환 엔드포인트
• 02Qwen, Llama, Gemma, Phi, GPT-OSS 모델용 사전 제작 이미지
• 03Unsloth를 지원하는 파인튜닝 인터페이스
• 04CNCF ModelPack 사양에 따라 모델을 OCI 아티팩트로 패키징
• 05AMD64 및 ARM64 CPU에서 실행되며 NVIDIA CUDA GPU 가속 지원
• 06SBOM, 출처 증명(attestation), 서명이 포함된 이미지

활용 사례

• GPU 없이 Docker로 로컬에서 오픈소스 LLM 실행
• OpenAI 스타일 API를 통해 Kubernetes 클러스터에 모델 배포
• 모델을 파인튜닝한 뒤 OCI 아티팩트로 패키징
• 미리 미러링한 레지스트리를 사용해 네트워크 격리 환경에서 모델 서빙

빠른 시작

1. 1

   Docker에서 Qwen 3.5 4B 모델을 시작합니다(CPU 사용, GPU 불필요).

   docker run -d --rm -p 8080:8080 ghcr.io/kaito-project/aikit/qwen3.5:4b
2. 2

   http://localhost:8080/chat 에서 WebUI를 엽니다.

3. 3

   OpenAI 호환 API에 채팅 요청을 보냅니다.

   curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "qwen-3.5-4b", "messages": [{"role": "user", "content": "explain kubernetes in a sentence"}]}'

사용 전 알아둘 점

• !미리 만들어진 모델에는 Llama 라이선스 등 각 모델 고유의 라이선스가 적용되며, 이는 프로젝트의 MIT 라이선스와 다릅니다.
• !AMD ROCm GPU 지원은 실험 단계이고 미리 만들어진 모델 이미지는 CUDA 기반이므로, AMD 사용자는 직접 이미지를 빌드해야 합니다.
• !시작 시 모델을 다운로드하는 Runner 이미지는 기본적으로 에어갭 환경에서 사용할 수 없습니다.

포함된 컬렉션

토픽

자주 묻는 질문

aikit은(는) 무엇인가요?

오픈소스 LLM을 호스팅하고 빌드·파인튜닝·패키징해 OpenAI 호환 API로 제공하는 Docker 기반 툴킷입니다. AIKit은 로컬이나 Kubernetes에서 오픈소스 대규모 언어 모델을 실행하는 플랫폼입니다. 추론에는 LocalAI를 사용하고 OpenAI API 호환 엔드포인트를 제공하므로, 기존 OpenAI 클라이언트에서 코드를 수정하지 않고 오픈 모델에 요청을 보낼 수 있습니다. Qwen, Llama, Gemma, Phi, GPT-OSS 등 특정 모델이 포함된 사전 제작 컨테이너 이미지를 제공하며, docker run 명령 하나로 실행할 수 있습니다.

aikit은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

aikit은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

aikit은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. aikit의 마지막 커밋은 2026년 11월 2일입니다.

aikit은(는) 어디에 사용할 수 있나요?

GPU 없이 Docker로 로컬에서 오픈소스 LLM 실행 OpenAI 스타일 API를 통해 Kubernetes 클러스터에 모델 배포 모델을 파인튜닝한 뒤 OCI 아티팩트로 패키징 미리 미러링한 레지스트리를 사용해 네트워크 격리 환경에서 모델 서빙

aikit는 어떻게 설치하나요?

Docker에서 Qwen 3.5 4B 모델을 시작합니다(CPU 사용, GPU 불필요).: docker run -d --rm -p 8080:8080 ghcr.io/kaito-project/aikit/qwen3.5:4b http://localhost:8080/chat 에서 WebUI를 엽니다. OpenAI 호환 API에 채팅 요청을 보냅니다.: curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "qwen-3.5-4b", "messages": [{"role": "user", "content": "explain kubernetes in a sentence"}]}'

aikit은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/kaito-project/aikit