Repolode
Предложить
skyzh

skyzh/tiny-llm

Практический курс для системных инженеров: сборка стека инференса небольшой LLM Qwen3 на Apple Silicon с MLX — от matmul до мини-vLLM и coding agent.

Открыть на GitHubСайт
Звёзды
5,675
Форки
522
Открытые issues
12
Последний коммит
15 часов назад

Что это?

tiny-llm — курс для системных инженеров, которые хотят разобраться в инференсе LLM от начала до конца. Участники реализуют весь путь: загрузку модели Qwen3, преобразование токенов в логиты и генерацию текста. Начинают с операций над массивами MLX, а затем добавляют ядра и механизмы обслуживания запросов по мере необходимости.

Курс построен на массивах MLX и runtime расширений MLX, без высокоуровневых слоёв нейронных сетей. Изучая оператор в каждой главе, участник реализует его на Python, C++ или Metal, а MLX служит эталоном корректности и производительности. Код остаётся достаточно компактным, чтобы прочитать его целиком.

За четыре недели участники создают модель для одного запроса с KV cache и квантованными весами, мини-vLLM с continuous batching, chunked prefill и paged KV cache, а также пошагово собирают coding agent на четвёртой неделе — с проверкой изменений и контрольными точками, позволяющими продолжить работу. Курс рассчитан на компьютеры с Apple Silicon. Учебник опубликован онлайн, а для проверки тестов доступен пакет с эталонным решением.

Ключевые возможности

  • 01Сборка модели Qwen3 на операциях с массивами MLX, включая attention, RoPE, GQA и RMSNorm
  • 02Реализация KV cache, квантованного matvec и объединённых ядер на Python, C++ или Metal
  • 03Разбор continuous batching, chunked prefill и paged KV cache на примере мини-vLLM
  • 04Эталонное решение и набор тестов для проверки каждой главы
  • 05Пошаговая сборка coding agent с проверкой изменений и контрольными точками, позволяющими продолжить работу

Сценарии использования

  • Для системных инженеров, которые хотят связать уравнения инференса LLM с трафиком памяти и ростом KV cache
  • Для разработчиков, изучающих внутреннее устройство batching и paged attention в стиле vLLM
  • Для инженеров, проводящих эксперименты с локальными моделями на Mac с Apple Silicon

Быстрый старт

  1. 1

    Прочитайте руководство по настройке окружения в книге

  2. 2

    Установите зависимости с помощью PDM

    pdm install -v
  3. 3

    Проверьте установку

    pdm run check-installation
  4. 4

    Запустите тесты эталонного решения Week 1

    pdm run test-refsol -- -- -k week_1

Что важно знать

  • Курс основан на MLX и предназначен для Mac с Apple silicon.
  • Главы Week 2 и Week 4 всё ещё в разработке и завершены не полностью.
  • Агент программирования Week 4 может выполнять команды и редактировать файлы, поэтому используйте временное рабочее пространство без секретов.

В подборках

Запуск LLM локальноOpen source приложения для Mac

Темы

#llm-inference#mlx#apple-silicon#qwen#kv-cache#course#llm-serving#large-language-model#llm#python

Частые вопросы

Что такое tiny-llm?
Практический курс для системных инженеров: сборка стека инференса небольшой LLM Qwen3 на Apple Silicon с MLX — от matmul до мини-vLLM и coding agent. tiny-llm — курс для системных инженеров, которые хотят разобраться в инференсе LLM от начала до конца. Участники реализуют весь путь: загрузку модели Qwen3, преобразование токенов в логиты и генерацию текста. Начинают с операций над массивами MLX, а затем добавляют ядра и механизмы обслуживания запросов по мере необходимости.
tiny-llm можно использовать бесплатно? Какая у него лицензия?
tiny-llm распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
tiny-llm всё ещё поддерживается?
Активно поддерживается. Последний коммит в tiny-llm — 6 нояб. 2026 г..
Для чего можно использовать tiny-llm?
Для системных инженеров, которые хотят связать уравнения инференса LLM с трафиком памяти и ростом KV cache Для разработчиков, изучающих внутреннее устройство batching и paged attention в стиле vLLM Для инженеров, проводящих эксперименты с локальными моделями на Mac с Apple Silicon
Как установить tiny-llm?
Прочитайте руководство по настройке окружения в книге Установите зависимости с помощью PDM: pdm install -v Проверьте установку: pdm run check-installation Запустите тесты эталонного решения Week 1: pdm run test-refsol -- -- -k week_1
Где скачать tiny-llm?
Исходный код и инструкции по установке — на GitHub: https://github.com/skyzh/tiny-llm

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Edge0-AI / Edge0

Фреймворк с открытым исходным кодом для запуска больших разреженных MoE-моделей на потребительских устройствах: он подгружает веса экспертов с SSD и заранее предсказывает маршрутизацию.

ИИ и машинное обучение#llm-inference#mixture-of-experts#model-quantization
9,1 тыс.+283 за неделю1,4 тыс.PythonApache-2.0Активно поддерживаетсяОбновлён 22 часа назад