mozilla-ai/llamafile

어떤 프로젝트인가요?

핵심 기능

• 01모델 가중치와 런타임을 설치 없이 실행할 수 있는 단일 실행 파일로 패키징합니다.
• 02대부분의 운영체제와 CPU 아키텍처에서 실행됩니다.
• 03로컬 LLM 추론을 위해 llama.cpp를 기반으로 합니다.
• 04오디오 전사 및 번역을 위한 whisperfile을 포함합니다.
• 05단일 파일에 담기에는 너무 큰 모델을 위해 외부 GGUF 가중치를 지원합니다.

활용 사례

• 설정 과정 없이 동료나 최종 사용자와 바로 실행할 수 있는 로컬 LLM을 공유합니다.
• 노트북이나 데스크톱에서 소형 오픈 모델을 오프라인으로 실행합니다.
• whisperfile로 오디오 파일을 로컬에서 전사하거나 번역합니다.

빠른 시작

1. 1

   예제 llamafile 모델(Qwen3.5 0.8B)을 다운로드합니다

   curl -LO https://huggingface.co/mozilla-ai/llamafile_0.10/resolve/main/Qwen3.5-0.8B-Q8_0.llamafile
2. 2

   파일을 실행 가능하게 만듭니다(macOS/Linux/BSD)

   chmod +x Qwen3.5-0.8B-Q8_0.llamafile
3. 3

   llamafile을 실행합니다

   ./Qwen3.5-0.8B-Q8_0.llamafile

사용 전 알아둘 점

• !4GB를 초과하는 파일은 Windows에서 실행할 수 없으므로, 더 큰 llamafile에는 외부 GGUF 가중치가 필요합니다.
• !버전 0.10 이상은 새로운 빌드 시스템을 사용하므로 기존 릴리스의 일부 기능이 없을 수 있습니다.

토픽

자주 묻는 질문

llamafile은(는) 무엇인가요?

설치 없이 대부분의 운영체제와 CPU 아키텍처에서 실행되는 단일 실행 파일 형태로 오픈 LLM을 배포하고 실행합니다. llamafile은 대규모 언어 모델과 추론 런타임을 자체 완결형 실행 파일 하나로 패키징합니다. llama.cpp와 Cosmopolitan Libc를 결합해 설치 과정 없이 대부분의 운영체제와 CPU 아키텍처에서 동일한 파일을 로컬로 실행할 수 있습니다. llamafile을 다운로드하고 실행 권한을 부여한 뒤 실행하면 됩니다.

llamafile은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

llamafile은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

llamafile은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. llamafile의 마지막 커밋은 2026년 10월 12일입니다.

llamafile은(는) 어디에 사용할 수 있나요?

설정 과정 없이 동료나 최종 사용자와 바로 실행할 수 있는 로컬 LLM을 공유합니다. 노트북이나 데스크톱에서 소형 오픈 모델을 오프라인으로 실행합니다. whisperfile로 오디오 파일을 로컬에서 전사하거나 번역합니다.

llamafile는 어떻게 설치하나요?

예제 llamafile 모델(Qwen3.5 0.8B)을 다운로드합니다: curl -LO https://huggingface.co/mozilla-ai/llamafile_0.10/resolve/main/Qwen3.5-0.8B-Q8_0.llamafile 파일을 실행 가능하게 만듭니다(macOS/Linux/BSD): chmod +x Qwen3.5-0.8B-Q8_0.llamafile llamafile을 실행합니다: ./Qwen3.5-0.8B-Q8_0.llamafile

llamafile은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/mozilla-ai/llamafile