mozilla-ai/llamafile

这是什么？

核心功能

• 01将模型权重与运行时打包为单个可执行文件，无需安装。
• 02可在大多数操作系统和 CPU 架构上运行。
• 03基于 llama.cpp 实现本地大模型推理。
• 04内置 whisperfile，支持音频转写和翻译。
• 05支持外部 GGUF 权重文件，适用于超出单文件大小限制的模型。

适用场景

• 无需配置即可与同事或终端用户分享可直接运行的本地大模型。
• 在笔记本或台式机上离线运行小型开源模型。
• 使用 whisperfile 在本地转写或翻译音频文件。

快速上手

1. 1

   下载示例 llamafile 模型（Qwen3.5 0.8B）

   curl -LO https://huggingface.co/mozilla-ai/llamafile_0.10/resolve/main/Qwen3.5-0.8B-Q8_0.llamafile
2. 2

   赋予文件可执行权限（macOS/Linux/BSD）

   chmod +x Qwen3.5-0.8B-Q8_0.llamafile
3. 3

   运行 llamafile

   ./Qwen3.5-0.8B-Q8_0.llamafile

使用前须知

• !超过 4GB 的文件无法在 Windows 上运行，因此较大的模型需要使用外部 GGUF 权重。
• !0.10 及之后版本采用新的构建系统，可能缺少经典版本的部分功能。

标签

常见问题

llamafile 是什么？

把开源大模型打包成单个可执行文件，无需安装即可在多数操作系统和 CPU 架构上运行。 llamafile 把大语言模型和推理运行时打包成一个自包含的可执行文件。它将 llama.cpp 与 Cosmopolitan Libc 结合，同一个文件可在大多数操作系统和 CPU 架构上本地运行，无需安装。用户下载 llamafile，赋予执行权限后直接运行即可。

llamafile 可以免费使用吗？用的什么许可证？

llamafile 以 Other 许可证开源。用于商业产品前，请先确认许可证条款。

llamafile 还在维护吗？

活跃维护中。llamafile 最近一次提交是在 2026年10月12日。

llamafile 适合用来做什么？

无需配置即可与同事或终端用户分享可直接运行的本地大模型。 在笔记本或台式机上离线运行小型开源模型。 使用 whisperfile 在本地转写或翻译音频文件。

llamafile 怎么安装和运行？

下载示例 llamafile 模型（Qwen3.5 0.8B）: curl -LO https://huggingface.co/mozilla-ai/llamafile_0.10/resolve/main/Qwen3.5-0.8B-Q8_0.llamafile 赋予文件可执行权限（macOS/Linux/BSD）: chmod +x Qwen3.5-0.8B-Q8_0.llamafile 运行 llamafile: ./Qwen3.5-0.8B-Q8_0.llamafile

在哪里获取 llamafile？

源代码和安装说明在 GitHub 上：https://github.com/mozilla-ai/llamafile