Repolode
Предложить
lyogavin

lyogavin/airllm

Библиотека Python, которая запускает большие языковые модели послойно и позволяет выполнять инференс моделей класса 70B на одной GPU с 4 ГБ памяти без квантования.

Открыть на GitHub
Звёзды
39,483
Форки
4,026
Открытые issues
167
Последний коммит
вчера

Что это?

AirLLM — библиотека Python для запуска больших языковых моделей на GPU с небольшим объёмом VRAM. Вместо загрузки модели целиком она держит на GPU только один слой декодера за раз, поэтому необходимый объём памяти зависит от размера слоя, а не от общего числа параметров. По данным проекта, на GPU примерно с 4 ГБ памяти запускается Llama 3.x 70B, на GPU с 12 ГБ — DeepSeek-V3 (671B), а также более новые модели, например Qwen3-235B и Kimi K3, на одной видеокарте.

Модели загружаются одним вызовом AutoModel.from_pretrained, которому можно передать ID репозитория на Hugging Face или локальный путь. Дополнительно можно включить поблочное сжатие до 4 или 8 бит, чтобы сократить время загрузки с диска и ускорить инференс. Библиотека также поддерживает macOS на Apple silicon через MLX и инференс на CPU. В последних версиях появилась тонкая настройка с LoRA: замороженные веса базовой модели подгружаются с диска по мере необходимости.

Главный компромисс — скорость: поскольку при каждом проходе слои считываются с диска, исходную модель сначала разбивают на отдельные файлы по слоям. Для этого потребуется много свободного места на диске.

Ключевые возможности

  • 01Запускает модели класса 70B на одной GPU с 4 ГБ памяти, поочерёдно размещая в VRAM по одному слою.
  • 02Загружает модели по ID репозитория на Hugging Face или локальному пути одним вызовом AutoModel.
  • 03Поддерживает опциональное поблочное сжатие до 4 и 8 бит, ускоряющее загрузку.
  • 04Поддерживает macOS на Apple silicon через MLX, а также инференс на CPU.
  • 05Включает тонкую настройку с LoRA, при которой замороженные веса базовой модели подгружаются с диска.

Сценарии использования

  • Запуск крупных открытых моделей, например Llama 70B, на обычной видеокарте с небольшим объёмом VRAM.
  • Запуск очень крупной MoE-модели, такой как DeepSeek-V3, на одной видеокарте рабочей станции.
  • Тонкая настройка большой модели с LoRA на GPU с небольшим объёмом памяти.
  • Локальный запуск больших моделей на Mac с Apple silicon.

Быстрый старт

  1. 1

    Установите пакет airllm

    pip install airllm
  2. 2

    Загрузите модель по ID репозитория Hugging Face и запустите инференс (см. код Quickstart в README)

    model = AutoModel.from_pretrained("Qwen/Qwen3-32B")

Что важно знать

  • При первом запуске инференса исходная модель разбивается на шарды по слоям, поэтому в кэше Hugging Face требуется достаточно места на диске.
  • Для некоторых новых моделей нужны определённые версии transformers или дополнительные пакеты. Например, для Kimi K3 требуются compressed-tensors и flash-attn.
  • Поддерживаются только устройства Apple silicon под MacOS; необходимо установить mlx и torch.

Темы

#llm#inference#gpu#low-vram#pytorch#fine-tuning#lora#quantization#chinese-llm#chinese-nlp

Частые вопросы

Что такое airllm?
Библиотека Python, которая запускает большие языковые модели послойно и позволяет выполнять инференс моделей класса 70B на одной GPU с 4 ГБ памяти без квантования. AirLLM — библиотека Python для запуска больших языковых моделей на GPU с небольшим объёмом VRAM. Вместо загрузки модели целиком она держит на GPU только один слой декодера за раз, поэтому необходимый объём памяти зависит от размера слоя, а не от общего числа параметров. По данным проекта, на GPU примерно с 4 ГБ памяти запускается Llama 3.x 70B, на GPU с 12 ГБ — DeepSeek-V3 (671B), а также более новые модели, например Qwen3-235B и Kimi K3, на одной видеокарте.
airllm можно использовать бесплатно? Какая у него лицензия?
airllm распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
airllm всё ещё поддерживается?
Активно поддерживается. Последний коммит в airllm — 19 окт. 2026 г..
Для чего можно использовать airllm?
Запуск крупных открытых моделей, например Llama 70B, на обычной видеокарте с небольшим объёмом VRAM. Запуск очень крупной MoE-модели, такой как DeepSeek-V3, на одной видеокарте рабочей станции. Тонкая настройка большой модели с LoRA на GPU с небольшим объёмом памяти. Локальный запуск больших моделей на Mac с Apple silicon.
Как установить airllm?
Установите пакет airllm: pip install airllm Загрузите модель по ID репозитория Hugging Face и запустите инференс (см. код Quickstart в README): model = AutoModel.from_pretrained("Qwen/Qwen3-32B")
Где скачать airllm?
Исходный код и инструкции по установке — на GitHub: https://github.com/lyogavin/airllm

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты