lyogavin/airllm

这是什么？

核心功能

• 01逐层加载，70B 级模型可在单张 4GB 显存的 GPU 上运行。
• 02通过统一的 AutoModel 接口加载 Hugging Face 仓库或本地模型。
• 03可选 4bit 和 8bit 分块压缩，加快加载速度。
• 04支持 Apple 芯片 macOS（基于 MLX）和 CPU 推理。
• 05提供 LoRA 微调，冻结的基础权重从磁盘流式读取。

适用场景

• 在显存有限的消费级显卡上体验 Llama 70B 等大型开源模型。
• 在单台工作站显卡上运行 DeepSeek-V3 这类超大 MoE 模型。
• 在小显存 GPU 上使用 LoRA 微调大模型。
• 在 Apple 芯片 Mac 上本地运行大模型。

快速上手

1. 1

   安装 airllm 包

   pip install airllm
2. 2

   通过 Hugging Face 仓库 ID 加载模型并运行推理（参见 README 中的快速开始代码）

   model = AutoModel.from_pretrained("Qwen/Qwen3-32B")

使用前须知

• !推理前会先把原始模型拆分保存为分层分片，因此需要在 Hugging Face 缓存目录中有足够的磁盘空间。
• !部分较新的模型需要特定版本的 transformers 或额外依赖，例如 Kimi K3 需要 compressed-tensors 和 flash-attn。
• !macOS 仅支持 Apple 芯片，并且需要安装 mlx 和 torch。

标签

常见问题

airllm 是什么？

Python 库，逐层加载大语言模型，让 70B 级模型可在单张 4GB 显卡上推理，无需量化。 AirLLM 是一个 Python 库，用于在显存很小的 GPU 上运行大语言模型。它不会一次性把整个模型装入显存，而是每次只在 GPU 上保留一个解码层，因此所需显存取决于单层大小，而不是模型总参数量。项目称可在约 4GB 显存上运行 Llama 3.x 70B，在约 12GB 上运行 DeepSeek-V3（671B），并支持 Qwen3-235B、Kimi K3 等新模型在单卡上推理。

airllm 可以免费使用吗？用的什么许可证？

airllm 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

airllm 还在维护吗？

活跃维护中。airllm 最近一次提交是在 2026年10月19日。

airllm 适合用来做什么？

在显存有限的消费级显卡上体验 Llama 70B 等大型开源模型。 在单台工作站显卡上运行 DeepSeek-V3 这类超大 MoE 模型。 在小显存 GPU 上使用 LoRA 微调大模型。 在 Apple 芯片 Mac 上本地运行大模型。

airllm 怎么安装和运行？

安装 airllm 包: pip install airllm 通过 Hugging Face 仓库 ID 加载模型并运行推理（参见 README 中的快速开始代码）: model = AutoModel.from_pretrained("Qwen/Qwen3-32B")

在哪里获取 airllm？

源代码和安装说明在 GitHub 上：https://github.com/lyogavin/airllm