lyogavin/airllm

これは何？

主な機能

• 01VRAMにレイヤーを一度に1つだけ保持し、70Bクラスのモデルを4GB GPU 1枚で実行できます。
• 02Hugging Faceのrepo IDまたはローカルパスから、単一のAutoModel呼び出しでモデルを読み込めます。
• 03読み込みを高速化する、オプションのブロック単位4-bit／8-bit圧縮を利用できます。
• 04MLXを介したApple silicon搭載Macでの実行と、CPU推論に対応しています。
• 05固定済みのベースモデルの重みをディスクからストリーミングするLoRAファインチューニングを備えています。

ユースケース

• VRAMの限られた一般向けGPUで、Llama 70Bのような大規模なオープンモデルを試す。
• DeepSeek-V3のような非常に大規模なMoEモデルを、ワークステーションのGPU 1枚で実行する。
• 小容量のGPUで、大規模モデルをLoRAでファインチューニングする。
• Apple silicon搭載Mac上で、大規模モデルをローカル実行する。

クイックスタート

1. 1

   airllm パッケージをインストールする

   pip install airllm
2. 2

   Hugging Face のリポジトリ ID でモデルを読み込み、推論を実行する（README の Quickstart コードを参照）

   model = AutoModel.from_pretrained("Qwen/Qwen3-32B")

使う前に知っておきたいこと

• !推論の初回実行時に元のモデルをレイヤー単位のシャードに分割するため、Hugging Face のキャッシュに十分なディスク容量が必要です。
• !新しいモデルの中には、特定の transformers バージョンや追加パッケージが必要なものがあります。たとえば Kimi K3 には compressed-tensors と flash-attn が必要です。
• !MacOS のサポート対象は Apple silicon のみで、mlx と torch のインストールが必要です。

トピック

よくある質問

airllm とは？

量子化なしで、レイヤー単位に大規模言語モデルを実行し、70Bクラスのモデルを4GB GPU 1枚で推論できるPythonライブラリ。 AirLLMは、VRAMがごく少ないGPUで大規模言語モデルを実行するためのPythonライブラリです。モデル全体を一度に読み込むのではなく、デコーダーレイヤーを一度に1つだけGPU上に保持するため、必要なメモリ量はパラメーター総数ではなくレイヤーのサイズで決まります。プロジェクトによると、Llama 3.x 70Bを約4GB、DeepSeek-V3（671B）を約12GBで実行できるほか、Qwen3-235BやKimi K3などの新しいモデルもGPU 1枚で実行できます。

airllm は無料で使えますか？ライセンスは？

airllm は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

airllm は今もメンテナンスされていますか？

活発にメンテナンス中。airllm の最終コミットは 2026年10月19日 です。

airllm は何に使えますか？

VRAMの限られた一般向けGPUで、Llama 70Bのような大規模なオープンモデルを試す。 DeepSeek-V3のような非常に大規模なMoEモデルを、ワークステーションのGPU 1枚で実行する。 小容量のGPUで、大規模モデルをLoRAでファインチューニングする。 Apple silicon搭載Mac上で、大規模モデルをローカル実行する。

airllm のインストール方法は？

airllm パッケージをインストールする: pip install airllm Hugging Face のリポジトリ ID でモデルを読み込み、推論を実行する（README の Quickstart コードを参照）: model = AutoModel.from_pretrained("Qwen/Qwen3-32B")

airllm はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/lyogavin/airllm