Servidor de inferencia de LLM para Mac con Apple Silicon, con batching continuo, caché KV en RAM y SSD, y gestión desde la barra de menús.
23,4 mil+131 esta semana2,1 milPythonApache-2.0Bien mantenidoActualizado anteayer
skyzh/tiny-llm
Curso práctico para ingenieros de sistemas que construye una pequeña pila de inferencia de LLM Qwen3 en Apple Silicon con MLX, desde matmul hasta un mini vLLM y un agente de programación.
- Estrellas
- 5,675
- Forks
- 522
- Issues abiertos
- 12
- Último commit
- hace 15 horas
¿Qué es?
tiny-llm es un curso para ingenieros de sistemas que quieren entender la inferencia de LLM de principio a fin. Los estudiantes implementan el flujo que carga un modelo Qwen3, convierte tokens en logits y genera texto, empezando por las operaciones con arrays de MLX y añadiendo kernels y mecanismos de serving según las necesidades del modelo.
El curso se basa en arrays de MLX y en el runtime de extensiones de MLX, sin capas de redes neuronales de alto nivel. Cuando un capítulo enseña un operador, el estudiante lo implementa en Python, C++ o Metal, y usa MLX como referencia para comprobar la corrección y el rendimiento. El código se mantiene lo bastante pequeño como para poder leerlo completo.
El itinerario de cuatro semanas abarca un modelo de una sola solicitud con KV cache y pesos cuantizados, un mini vLLM con batching continuo, prefill por bloques y KV cache paginada, y un agente de programación de la semana 4, creado paso a paso con ediciones validadas y puntos de control. El curso está dirigido a equipos Apple Silicon, y el libro está publicado en línea junto con un paquete de soluciones de referencia para las pruebas.
Funciones clave
- 01Construye un modelo Qwen3 a partir de operaciones con arrays de MLX, incluidas atención, RoPE, GQA y RMSNorm
- 02Implementa KV cache, matvec cuantizado y kernels fusionados en Python, C++ o Metal
- 03Explica el batching continuo, el prefill por bloques y la KV cache paginada en un mini vLLM
- 04Incluye una solución de referencia y una suite de pruebas para comprobar cada capítulo
- 05Termina con un agente de programación creado paso a paso, con ediciones validadas y puntos de control para reanudar el trabajo
Casos de uso
- Ingenieros de sistemas que quieren relacionar las ecuaciones de inferencia de LLM con el tráfico de memoria y el crecimiento de KV cache
- Desarrolladores que quieren aprender cómo funcionan internamente el batching al estilo de vLLM y la atención paginada
- Ingenieros que realizan experimentos con modelos locales en un Mac con Apple Silicon
Inicio rápido
- 1
Lee la guía de configuración del entorno en el libro
- 2
Instala las dependencias con PDM
pdm install -v - 3
Verifica la instalación
pdm run check-installation - 4
Ejecuta las pruebas de la solución de referencia de Week 1
pdm run test-refsol -- -- -k week_1
Antes de usarlo
- El curso está basado en MLX y está diseñado para Mac con Apple silicon.
- Los capítulos de Week 2 y Week 4 aún están en desarrollo y no están terminados por completo.
- El agente de programación de Week 4 puede ejecutar comandos y editar archivos, así que usa un espacio de trabajo desechable sin secretos.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es tiny-llm?
- Curso práctico para ingenieros de sistemas que construye una pequeña pila de inferencia de LLM Qwen3 en Apple Silicon con MLX, desde matmul hasta un mini vLLM y un agente de programación. tiny-llm es un curso para ingenieros de sistemas que quieren entender la inferencia de LLM de principio a fin. Los estudiantes implementan el flujo que carga un modelo Qwen3, convierte tokens en logits y genera texto, empezando por las operaciones con arrays de MLX y añadiendo kernels y mecanismos de serving según las necesidades del modelo.
- ¿tiny-llm es gratuito? ¿Qué licencia tiene?
- tiny-llm es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿tiny-llm sigue mantenido?
- Mantenimiento activo. El último commit de tiny-llm fue el 6 nov 2026.
- ¿Para qué puedo usar tiny-llm?
- Ingenieros de sistemas que quieren relacionar las ecuaciones de inferencia de LLM con el tráfico de memoria y el crecimiento de KV cache Desarrolladores que quieren aprender cómo funcionan internamente el batching al estilo de vLLM y la atención paginada Ingenieros que realizan experimentos con modelos locales en un Mac con Apple Silicon
- ¿Cómo se instala tiny-llm?
- Lee la guía de configuración del entorno en el libro Instala las dependencias con PDM: pdm install -v Verifica la instalación: pdm run check-installation Ejecuta las pruebas de la solución de referencia de Week 1: pdm run test-refsol -- -- -k week_1
- ¿Dónde consigo tiny-llm?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/skyzh/tiny-llm
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Servidor de inferencia MLX autoalojado para Apple Silicon, con API compatibles con OpenAI, Anthropic y Ollama para LLM, VLM y generación de imágenes.
910+5 esta semana101PythonApache-2.0Actualizado hace 11 horas
Un pequeño proyecto educativo para ejecutar inferencias de modelos de visión y lenguaje en Apple Silicon con MLX y puntuar respuestas candidatas sobre una imagen.
327+1 esta semana30PythonMITActualizado hace 2 meses
Conecta un iPhone a un Mac por USB-C para que la GPU del teléfono ayude a ejecutar localmente un modelo Qwen 27B y agilice la lectura de prompts y amplíe el contexto.
1,2 mil+26 esta semana114PythonMITActualizado hace 11 días
Framework de código abierto que ejecuta modelos MoE dispersos de gran tamaño en dispositivos de consumo al cargar pesos de expertos desde un SSD y predecir el enrutamiento.
IA y Machine Learning#llm-inference#mixture-of-experts#model-quantization#on-device-ai#apple-silicon
9,1 mil+283 esta semana1,4 milPythonApache-2.0Bien mantenidoActualizado hace 22 horas
Motor de inferencia de LLM que ejecuta modelos MLX en Apple silicon y funciona como backend de LM Studio.
1,2 mil138PythonMITActualizado hace 3 días