lyogavin/airllm

O que é?

Recursos principais

• 01Executa modelos da classe 70B em uma única GPU de 4 GB, mantendo uma camada por vez na VRAM.
• 02Carrega modelos a partir de um ID de repositório do Hugging Face ou de um caminho local com uma única chamada a AutoModel.
• 03Oferece compressão opcional em blocos de 4 e 8 bits para acelerar o carregamento.
• 04Oferece suporte ao macOS em Apple silicon via MLX e à inferência na CPU.
• 05Inclui fine-tuning com LoRA que transmite do disco os pesos congelados do modelo base.

Casos de uso

• Testar modelos abertos grandes, como Llama 70B, em uma GPU de consumo com VRAM limitada.
• Executar um modelo MoE muito grande, como DeepSeek-V3, em uma única placa de workstation.
• Fazer fine-tuning de um modelo grande com LoRA em uma GPU pequena.
• Executar modelos grandes localmente em um Mac com Apple silicon.

Início rápido

1. 1

   Instale o pacote airllm

   pip install airllm
2. 2

   Carregue um modelo pelo ID do repositório do Hugging Face e execute a inferência (consulte o código de Quickstart no README)

   model = AutoModel.from_pretrained("Qwen/Qwen3-32B")

Antes de usar

• !Na primeira execução da inferência, o modelo original é dividido em shards por camada; por isso, é necessário ter espaço suficiente em disco no cache do Hugging Face.
• !Alguns modelos mais novos precisam de versões específicas do transformers ou de pacotes adicionais. Por exemplo, o Kimi K3 requer compressed-tensors e flash-attn.
• !O suporte a MacOS é limitado a Apple silicon e requer a instalação de mlx e torch.

Tópicos

Perguntas frequentes

O que é airllm?

Biblioteca Python que executa LLMs grandes camada por camada, permitindo inferência com modelos da classe 70B em uma única GPU de 4 GB, sem quantização. AirLLM é uma biblioteca Python para executar LLMs grandes em GPUs com pouquíssima VRAM. Em vez de carregar o modelo inteiro de uma vez, ela mantém apenas uma camada do decoder na GPU por vez, então a memória necessária depende do tamanho da camada, não da quantidade total de parâmetros. O projeto relata executar Llama 3.x 70B com cerca de 4 GB, DeepSeek-V3 (671B) com cerca de 12 GB e lançamentos mais recentes, como Qwen3-235B e Kimi K3, em placas únicas.

airllm é gratuito? Qual é a licença?

airllm é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.

airllm ainda é mantido?

Manutenção ativa. O último commit de airllm foi em 19 de out. de 2026.

Para que posso usar airllm?

Testar modelos abertos grandes, como Llama 70B, em uma GPU de consumo com VRAM limitada. Executar um modelo MoE muito grande, como DeepSeek-V3, em uma única placa de workstation. Fazer fine-tuning de um modelo grande com LoRA em uma GPU pequena. Executar modelos grandes localmente em um Mac com Apple silicon.

Como instalar airllm?

Instale o pacote airllm: pip install airllm Carregue um modelo pelo ID do repositório do Hugging Face e execute a inferência (consulte o código de Quickstart no README): model = AutoModel.from_pretrained("Qwen/Qwen3-32B")

Onde consigo airllm?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/lyogavin/airllm