skyzh/tiny-llm

어떤 프로젝트인가요?

핵심 기능

• 01attention, RoPE, GQA, RMSNorm을 포함해 MLX 배열 연산으로 Qwen3 모델을 구축합니다
• 02Python, C++, 또는 Metal로 KV cache, 양자화 matvec, fused kernel을 구현합니다
• 03미니 vLLM에서 continuous batching, chunked prefill, paged KV cache를 다룹니다
• 04각 장의 내용을 확인할 수 있는 참조 솔루션과 테스트 스위트를 제공합니다
• 05검증된 편집과 이어서 작업할 수 있는 체크포인트를 갖춘 코딩 에이전트를 단계별로 구현하며 과정을 마무리합니다

활용 사례

• LLM 추론 방정식을 메모리 트래픽 및 KV cache 증가와 연결해 이해하고 싶은 시스템 엔지니어
• vLLM 방식의 batching과 paged attention이 내부적으로 동작하는 방식을 배우려는 개발자
• Apple Silicon Mac에서 로컬 모델 실험을 진행하는 엔지니어

빠른 시작

1. 1

   책의 환경 설정 가이드를 읽으세요

2. 2

   PDM으로 종속성을 설치하세요

   pdm install -v
3. 3

   설치를 확인하세요

   pdm run check-installation
4. 4

   Week 1 참조 솔루션 테스트를 실행하세요

   pdm run test-refsol -- -- -k week_1

사용 전 알아둘 점

• !이 과정은 MLX를 기반으로 하며 Apple silicon Mac용으로 설계되었습니다.
• !Week 2와 Week 4 챕터는 아직 작업 중이며 모두 완성된 것은 아닙니다.
• !Week 4 코딩 에이전트는 명령을 실행하고 파일을 수정할 수 있으므로, 비밀 정보가 없는 일회용 작업 공간을 사용하세요.

포함된 컬렉션

토픽

자주 묻는 질문

tiny-llm은(는) 무엇인가요?

Apple Silicon에서 MLX로 matmul부터 미니 vLLM과 코딩 에이전트까지, 작은 Qwen3 LLM 추론 스택을 구축하는 시스템 엔지니어용 실습 과정입니다. tiny-llm은 LLM 추론을 처음부터 끝까지 이해하고 싶은 시스템 엔지니어를 위한 과정입니다. 수강생은 Qwen3 모델을 불러와 토큰을 logits로 변환하고 텍스트를 생성하는 과정을 구현하며, MLX 배열 연산부터 시작해 모델에 필요한 커널과 서빙 기능을 추가합니다.

tiny-llm은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

tiny-llm은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

tiny-llm은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. tiny-llm의 마지막 커밋은 2026년 11월 6일입니다.

tiny-llm은(는) 어디에 사용할 수 있나요?

LLM 추론 방정식을 메모리 트래픽 및 KV cache 증가와 연결해 이해하고 싶은 시스템 엔지니어 vLLM 방식의 batching과 paged attention이 내부적으로 동작하는 방식을 배우려는 개발자 Apple Silicon Mac에서 로컬 모델 실험을 진행하는 엔지니어

tiny-llm는 어떻게 설치하나요?

책의 환경 설정 가이드를 읽으세요 PDM으로 종속성을 설치하세요: pdm install -v 설치를 확인하세요: pdm run check-installation Week 1 참조 솔루션 테스트를 실행하세요: pdm run test-refsol -- -- -k week_1

tiny-llm은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/skyzh/tiny-llm