Repolode
bodaay

bodaay/HuggingFaceModelDownloader

一个 Go 语言编写的命令行工具与 Web UI,用于从 HuggingFace Hub 并行下载模型和数据集,支持断点续传。

Star
1,193
Fork
128
未关闭 Issue
0
最近提交
15天前

这是什么?

HuggingFace Downloader 是一个用 Go 编写的工具,用于从 HuggingFace Hub 下载模型和数据集。它会将单个文件拆分为多个连接并行传输,同时下载多个文件,并在中断后自动续传。下载内容存放在标准的 HuggingFace 缓存结构中,transformers、huggingface_hub 等 Python 库无需额外配置即可直接读取。

除基本下载外,它还能分析仓库类型(如 GGUF、Transformers、Diffusers、LoRA、GPTQ/AWQ 及数据集),GGUF 量化版本和 Diffusers 组件都可以通过交互界面挑选。过滤参数可以只下载指定文件,dry-run 模式则用于预览下载内容。此外还提供带实时进度的 Web UI、可将缓存仓库导出为普通文件的命令,以及在机器之间同步缓存的 mirror 功能。

工具支持 HTTP 和 SOCKS5 代理、用于受限模型的访问令牌,以及 hf-mirror.com 等自定义端点,提供 Linux、macOS、Windows 版本和 Docker 镜像。

核心功能

  • 01单文件最多 16 个并行连接,同时可下载多个文件。
  • 02下载内容存入标准 HuggingFace 缓存,Python 库可直接找到。
  • 03GGUF 交互式选择界面,显示质量评级和内存占用估算。
  • 04带实时进度的 Web UI,支持缓存浏览和镜像同步。
  • 05支持 HTTP、SOCKS5 代理,包括认证和绕过规则。

适用场景

  • 在本地为 llama.cpp 或 Ollama 下载大体积 GGUF 量化模型。
  • 在企业代理或防火墙后的服务器上获取模型。
  • 将模型缓存同步到办公室 NAS 或 U 盘,用于离线环境。
  • 通过过滤参数和 dry-run 预览,编写模型或数据集的下载脚本。

快速上手

  1. 1

    无需安装直接试用:分析一个模型

    bash <(curl -sSL https://g.bodaay.io/hfd) analyze -i TheBloke/Mistral-7B-Instruct-v0.2-GGUF
  2. 2

    下载模型

    bash <(curl -sSL https://g.bodaay.io/hfd) download TheBloke/Mistral-7B-Instruct-v0.2-GGUF
  3. 3

    永久安装(无需 sudo)

    bash <(curl -sSL https://g.bodaay.io/hfd) install
  4. 4

    启动 Web 界面

    hfdownloader serve

使用前须知

  • 默认下载到 HuggingFace 缓存目录,Windows 用户可能需要开启开发者模式,否则会使用硬链接或复制。
  • 一键安装命令通过 curl 从第三方域名获取并执行远程脚本。

标签

常见问题

HuggingFaceModelDownloader 是什么?
一个 Go 语言编写的命令行工具与 Web UI,用于从 HuggingFace Hub 并行下载模型和数据集,支持断点续传。 HuggingFace Downloader 是一个用 Go 编写的工具,用于从 HuggingFace Hub 下载模型和数据集。它会将单个文件拆分为多个连接并行传输,同时下载多个文件,并在中断后自动续传。下载内容存放在标准的 HuggingFace 缓存结构中,transformers、huggingface_hub 等 Python 库无需额外配置即可直接读取。
HuggingFaceModelDownloader 可以免费使用吗?用的什么许可证?
HuggingFaceModelDownloader 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
HuggingFaceModelDownloader 还在维护吗?
活跃维护中。HuggingFaceModelDownloader 最近一次提交是在 2026年10月4日。
HuggingFaceModelDownloader 适合用来做什么?
在本地为 llama.cpp 或 Ollama 下载大体积 GGUF 量化模型。 在企业代理或防火墙后的服务器上获取模型。 将模型缓存同步到办公室 NAS 或 U 盘,用于离线环境。 通过过滤参数和 dry-run 预览,编写模型或数据集的下载脚本。
HuggingFaceModelDownloader 怎么安装和运行?
无需安装直接试用:分析一个模型: bash <(curl -sSL https://g.bodaay.io/hfd) analyze -i TheBloke/Mistral-7B-Instruct-v0.2-GGUF 下载模型: bash <(curl -sSL https://g.bodaay.io/hfd) download TheBloke/Mistral-7B-Instruct-v0.2-GGUF 永久安装(无需 sudo): bash <(curl -sSL https://g.bodaay.io/hfd) install 启动 Web 界面: hfdownloader serve
在哪里获取 HuggingFaceModelDownloader?
源代码和安装说明在 GitHub 上:https://github.com/bodaay/HuggingFaceModelDownloader

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目