skyzh/tiny-llm

これは何？

主な機能

• 01attention、RoPE、GQA、RMSNormなどを含むMLXの配列演算を使ってQwen3モデルを構築
• 02KV cache、量子化matvec、融合カーネルをPython、C++、またはMetalで実装
• 03ミニvLLMでcontinuous batching、chunked prefill、paged KV cacheを学習
• 04各章の確認に使えるリファレンス実装とテストスイートを収録
• 05検証済みの編集と再開可能なチェックポイントを備えたコーディングエージェントを段階的に構築

ユースケース

• LLM推論の数式とメモリトラフィックやKV cacheの増加との関係を理解したいシステムエンジニア
• vLLM方式のバッチ処理やpaged attentionの内部動作を学びたい開発者
• Apple Silicon搭載Macでローカルモデルの実験を行うエンジニア

クイックスタート

1. 1

   書籍の環境構築ガイドを読む

2. 2

   PDMで依存関係をインストールする

   pdm install -v
3. 3

   インストールを確認する

   pdm run check-installation
4. 4

   Week 1の参照ソリューションのテストを実行する

   pdm run test-refsol -- -- -k week_1

使う前に知っておきたいこと

• !このコースはMLXを基盤としており、Apple silicon搭載のMac向けに設計されています。
• !Week 2とWeek 4の章は現在も制作中で、すべてが完成しているわけではありません。
• !Week 4のコーディングエージェントはコマンドの実行やファイルの編集ができるため、秘密情報のない使い捨てのワークスペースを使用してください。

収録されている特集

トピック

よくある質問

tiny-llm とは？

システムエンジニア向けの実践コース。Apple Silicon上でMLXを使い、matmulからミニvLLMやコーディングエージェントまで、小規模なQwen3 LLM推論スタックを構築します。 tiny-llmは、LLM推論をエンドツーエンドで理解したいシステムエンジニア向けのコースです。受講者は、Qwen3モデルを読み込み、トークンをlogitsに変換してテキストを生成するまでの処理を実装します。MLXの配列演算から始め、モデルの要件に応じてカーネルやサービング機構を追加していきます。

tiny-llm は無料で使えますか？ライセンスは？

tiny-llm は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

tiny-llm は今もメンテナンスされていますか？

活発にメンテナンス中。tiny-llm の最終コミットは 2026年11月6日 です。

tiny-llm は何に使えますか？

LLM推論の数式とメモリトラフィックやKV cacheの増加との関係を理解したいシステムエンジニア vLLM方式のバッチ処理やpaged attentionの内部動作を学びたい開発者 Apple Silicon搭載Macでローカルモデルの実験を行うエンジニア

tiny-llm のインストール方法は？

書籍の環境構築ガイドを読む PDMで依存関係をインストールする: pdm install -v インストールを確認する: pdm run check-installation Week 1の参照ソリューションのテストを実行する: pdm run test-refsol -- -- -k week_1

tiny-llm はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/skyzh/tiny-llm