lyogavin/airllm

¿Qué es?

Funciones clave

• 01Ejecuta modelos de 70B en una sola GPU de 4 GB, manteniendo una capa a la vez en VRAM.
• 02Carga modelos desde el ID de un repositorio de Hugging Face o una ruta local mediante una sola llamada a AutoModel.
• 03Ofrece compresión opcional por bloques de 4 y 8 bits para acelerar la carga.
• 04Es compatible con macOS en Apple silicon mediante MLX y permite inferencia en CPU.
• 05Incluye ajuste fino con LoRA que transmite desde el disco los pesos base congelados.

Casos de uso

• Probar modelos abiertos grandes, como Llama 70B, en una GPU de consumo con VRAM limitada.
• Ejecutar un modelo MoE muy grande, como DeepSeek-V3, en una sola tarjeta de una estación de trabajo.
• Ajustar un modelo grande con LoRA en una GPU pequeña.
• Ejecutar modelos grandes localmente en una Mac con Apple silicon.

Inicio rápido

1. 1

   Instala el paquete airllm

   pip install airllm
2. 2

   Carga un modelo mediante el ID de repositorio de Hugging Face y ejecuta la inferencia (consulta el código de Quickstart en el README)

   model = AutoModel.from_pretrained("Qwen/Qwen3-32B")

Antes de usarlo

• !La primera vez que se ejecuta la inferencia, el modelo original se descompone en fragmentos por capas, por lo que necesitas suficiente espacio en disco en la caché de Hugging Face.
• !Algunos modelos más recientes necesitan versiones específicas de transformers o paquetes adicionales; por ejemplo, Kimi K3 requiere compressed-tensors y flash-attn.
• !La compatibilidad con MacOS se limita a Apple silicon y requiere instalar mlx y torch.

Temas

Preguntas frecuentes

¿Qué es airllm?

Biblioteca de Python que ejecuta modelos de lenguaje grandes capa por capa para que los modelos de 70B puedan inferir en una sola GPU de 4 GB, sin cuantización. AirLLM es una biblioteca de Python para ejecutar modelos de lenguaje grandes en GPU con muy poca VRAM. En vez de cargar todo el modelo de una vez, mantiene una sola capa del decodificador en la GPU cada vez, por lo que la memoria necesaria depende del tamaño de las capas y no del número total de parámetros. El proyecto informa que puede ejecutar Llama 3.x 70B con unos 4 GB, DeepSeek-V3 (671B) con unos 12 GB y versiones más recientes, como Qwen3-235B y Kimi K3, en una sola tarjeta.

¿airllm es gratuito? ¿Qué licencia tiene?

airllm es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.

¿airllm sigue mantenido?

Mantenimiento activo. El último commit de airllm fue el 19 oct 2026.

¿Para qué puedo usar airllm?

Probar modelos abiertos grandes, como Llama 70B, en una GPU de consumo con VRAM limitada. Ejecutar un modelo MoE muy grande, como DeepSeek-V3, en una sola tarjeta de una estación de trabajo. Ajustar un modelo grande con LoRA en una GPU pequeña. Ejecutar modelos grandes localmente en una Mac con Apple silicon.

¿Cómo se instala airllm?

Instala el paquete airllm: pip install airllm Carga un modelo mediante el ID de repositorio de Hugging Face y ejecuta la inferencia (consulta el código de Quickstart en el README): model = AutoModel.from_pretrained("Qwen/Qwen3-32B")

¿Dónde consigo airllm?

El código fuente y las instrucciones de instalación están en GitHub: https://github.com/lyogavin/airllm