lyogavin/airllm

어떤 프로젝트인가요?

핵심 기능

• 01한 번에 레이어 하나만 VRAM에 올려 단일 4GB GPU에서 70B급 모델을 실행합니다.
• 02단일 AutoModel 호출로 Hugging Face repo ID 또는 로컬 경로에서 모델을 로드합니다.
• 03로딩 속도를 높이는 선택적 4비트 및 8비트 블록 단위 압축을 제공합니다.
• 04MLX를 통해 Apple silicon 기반 macOS를 지원하며 CPU 추론도 지원합니다.
• 05디스크에서 동결된 베이스 가중치를 스트리밍하는 LoRA 파인튜닝 기능을 제공합니다.

활용 사례

• VRAM이 제한된 일반 사용자용 GPU에서 Llama 70B 같은 대형 오픈 모델을 시험해 보기.
• 단일 워크스테이션 GPU에서 DeepSeek-V3 같은 초대형 MoE 모델 실행하기.
• 소형 GPU에서 LoRA로 대형 모델 파인튜닝하기.
• Apple silicon Mac에서 대형 모델을 로컬로 실행하기.

빠른 시작

1. 1

   airllm 패키지를 설치합니다

   pip install airllm
2. 2

   Hugging Face 리포지토리 ID로 모델을 로드하고 추론을 실행합니다(README의 Quickstart 코드 참조)

   model = AutoModel.from_pretrained("Qwen/Qwen3-32B")

사용 전 알아둘 점

• !추론을 처음 실행할 때 원본 모델을 레이어별 샤드로 분할하므로 Hugging Face 캐시에 충분한 디스크 공간이 필요합니다.
• !일부 최신 모델은 특정 transformers 버전이나 추가 패키지가 필요합니다. 예를 들어 Kimi K3에는 compressed-tensors와 flash-attn이 필요합니다.
• !MacOS는 Apple silicon만 지원하며 mlx와 torch를 설치해야 합니다.

토픽

자주 묻는 질문

airllm은(는) 무엇인가요?

대형 언어 모델을 레이어별로 실행해 양자화 없이도 70B급 모델을 단일 4GB GPU에서 추론할 수 있는 Python 라이브러리입니다. AirLLM은 VRAM이 매우 적은 GPU에서 대형 언어 모델을 실행하는 Python 라이브러리입니다. 모델 전체를 한 번에 로드하는 대신 디코더 레이어를 한 번에 하나씩만 GPU에 올리므로, 필요한 메모리는 전체 파라미터 수가 아니라 레이어 크기에 따라 결정됩니다. 프로젝트에 따르면 Llama 3.x 70B는 약 4GB에서, DeepSeek-V3(671B)는 약 12GB에서 실행할 수 있으며 Qwen3-235B, Kimi K3 같은 최신 모델도 단일 GPU에서 실행할 수 있습니다.

airllm은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

airllm은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

airllm은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. airllm의 마지막 커밋은 2026년 10월 19일입니다.

airllm은(는) 어디에 사용할 수 있나요?

VRAM이 제한된 일반 사용자용 GPU에서 Llama 70B 같은 대형 오픈 모델을 시험해 보기. 단일 워크스테이션 GPU에서 DeepSeek-V3 같은 초대형 MoE 모델 실행하기. 소형 GPU에서 LoRA로 대형 모델 파인튜닝하기. Apple silicon Mac에서 대형 모델을 로컬로 실행하기.

airllm는 어떻게 설치하나요?

airllm 패키지를 설치합니다: pip install airllm Hugging Face 리포지토리 ID로 모델을 로드하고 추론을 실행합니다(README의 Quickstart 코드 참조): model = AutoModel.from_pretrained("Qwen/Qwen3-32B")

airllm은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/lyogavin/airllm