Repolode
Enviar
skyzh

skyzh/tiny-llm

Curso prático para engenheiros de sistemas que ensina a montar uma stack de inferência de LLM pequena para Qwen3 no Apple Silicon com MLX, de matmul a um mini vLLM e um agente de programação.

Ver no GitHubSite
Estrelas
5,675
Forks
522
Issues abertas
12
Último commit
há 13 horas

O que é?

tiny-llm é um curso para engenheiros de sistemas que querem entender a inferência de LLM de ponta a ponta. Os alunos implementam o fluxo que carrega um modelo Qwen3, transforma tokens em logits e gera texto, começando pelas operações de array do MLX e adicionando kernels e componentes de serving conforme necessário.

O curso se baseia em arrays do MLX e no runtime de extensões do MLX, sem camadas de redes neurais de alto nível. Quando um capítulo ensina um operador, o aluno o implementa em Python, C++ ou Metal, usando o MLX como referência de correção e desempenho. O código é mantido pequeno o bastante para ser lido por inteiro.

O percurso de quatro semanas aborda um modelo para uma única requisição com KV cache e pesos quantizados; um mini vLLM com continuous batching, chunked prefill e paged KV cache; e um agente de programação, na Semana 4, desenvolvido passo a passo com edições validadas e checkpoints. O curso é voltado para máquinas com Apple Silicon, e o livro é publicado online junto com um pacote de soluções de referência para os testes.

Recursos principais

  • 01Monta um modelo Qwen3 a partir de operações de array do MLX, incluindo attention, RoPE, GQA e RMSNorm
  • 02Implementa KV cache, matvec quantizado e kernels fusionados em Python, C++ ou Metal
  • 03Aborda continuous batching, chunked prefill e paged KV cache em um mini vLLM
  • 04Inclui uma solução de referência e uma suíte de testes para verificar cada capítulo
  • 05Termina com um agente de programação desenvolvido passo a passo, com edições validadas e checkpoints que permitem retomar o trabalho

Casos de uso

  • Engenheiros de sistemas que querem relacionar as equações de inferência de LLM ao tráfego de memória e ao crescimento do KV cache
  • Desenvolvedores que querem aprender como funcionam internamente o batching e a paged attention no estilo do vLLM
  • Engenheiros que fazem experimentos locais com modelos em um Mac com Apple Silicon

Início rápido

  1. 1

    Leia o guia de configuração do ambiente no livro

  2. 2

    Instale as dependências com PDM

    pdm install -v
  3. 3

    Verifique a instalação

    pdm run check-installation
  4. 4

    Execute os testes da solução de referência da Week 1

    pdm run test-refsol -- -- -k week_1

Antes de usar

  • O curso é baseado no MLX e foi desenvolvido para Macs com Apple silicon.
  • Os capítulos da Week 2 e da Week 4 ainda estão em andamento e não foram concluídos por completo.
  • O agente de programação da Week 4 pode executar comandos e editar arquivos, então use um espaço de trabalho descartável sem segredos.

Em coleções

Rode LLMs localmenteApps open source para Mac

Tópicos

#llm-inference#mlx#apple-silicon#qwen#kv-cache#course#llm-serving#large-language-model#llm#python

Perguntas frequentes

O que é tiny-llm?
Curso prático para engenheiros de sistemas que ensina a montar uma stack de inferência de LLM pequena para Qwen3 no Apple Silicon com MLX, de matmul a um mini vLLM e um agente de programação. tiny-llm é um curso para engenheiros de sistemas que querem entender a inferência de LLM de ponta a ponta. Os alunos implementam o fluxo que carrega um modelo Qwen3, transforma tokens em logits e gera texto, começando pelas operações de array do MLX e adicionando kernels e componentes de serving conforme necessário.
tiny-llm é gratuito? Qual é a licença?
tiny-llm é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
tiny-llm ainda é mantido?
Manutenção ativa. O último commit de tiny-llm foi em 6 de nov. de 2026.
Para que posso usar tiny-llm?
Engenheiros de sistemas que querem relacionar as equações de inferência de LLM ao tráfego de memória e ao crescimento do KV cache Desenvolvedores que querem aprender como funcionam internamente o batching e a paged attention no estilo do vLLM Engenheiros que fazem experimentos locais com modelos em um Mac com Apple Silicon
Como instalar tiny-llm?
Leia o guia de configuração do ambiente no livro Instale as dependências com PDM: pdm install -v Verifique a instalação: pdm run check-installation Execute os testes da solução de referência da Week 1: pdm run test-refsol -- -- -k week_1
Onde consigo tiny-llm?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/skyzh/tiny-llm

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados