在中国快速下载 Hugging Face 模型,核心思路是使用国内镜像站,配合专业下载工具。这里整理了 5 种主流方案,你可以根据自己的习惯和技术背景选择最顺手的一个。

🔮️ 方案一:官方命令行工具 huggingface-cli (最通用)

这是 Hugging Face 官方提供的命令行下载工具,可以完美集成到你的工作流,是最推荐的通用方案

核心步骤:

  1. 安装与配置:确保 huggingface_hub 库已安装,并设置镜像站环境变量。

    pip install -U huggingface_hub
    export HF_ENDPOINT=https://hf-mirror.com    # Linux/macOS
    # Windows PowerShell 用户请运行: $env:HF_ENDPOINT = "https://hf-mirror.com"
    

    建议将此环境变量永久添加到配置文件(如 ~/.bashrc)中。同时,建议升级到最新版本以获得最佳兼容性:

    pip install --upgrade huggingface-hub>=0.16.0
    
  2. 执行下载命令:使用 huggingface-cli download 命令。例如下载 Qwen/Qwen2.5-1.5B-Instruct 模型:

    huggingface-cli download Qwen/Qwen2.5-1.5B-Instruct --local-dir ./my_local_model
    

    常用参数及说明:

    • --resume-download: 断点续传,中断后再次运行即可继续。
    • --local-dir: 指定模型下载到的本地目录。
    • --local-dir-use-symlinks False: 直接下载文件而非创建软链接,便于直接查看和管理。
    • --token: 下载需要授权的Gated模型时,需要在这里传入你的Access Token。

🛩️ 方案二:专用高速下载器 hfd (速度最快)

hfd 是一个社区专为 Hugging Face 模型下载打造的脚本,它巧妙结合了 gitaria2 下载器的优点,以实现多线程高速下载,速度通常是最快的

核心步骤:

  1. 下载并授权:获取 hfd.sh 脚本并赋予执行权限。

    wget https://hf-mirror.com/hfd/hfd.sh
    chmod a+x hfd.sh
    
  2. 运行下载:通过 --tool aria2c -x 4 参数启用多线程加速。

    export HF_ENDPOINT=https://hf-mirror.com
    ./hfd.sh Qwen/Qwen2.5-1.5B-Instruct --tool aria2c -x 4
    

💻 方案三:国产开发平台 ModelScope (大厂推荐)

魔搭社区 (ModelScope) 是阿里巴巴推出的中文AI模型库,对于国内用户来说,它的网络访问速度和稳定性有很好的保障

  • 操作流程:访问 modelscope.cn,直接搜索想要的模型名称,使用其网页或官方SDK下载即可。
  • 适用场景:如果想体验完整的国内AI生态,或者直接从 Hugging Face 下载速度不理想,可以优先在 ModelScope 上寻找同样的模型。

🔧 方案四:直接替换网址 (最简单)

这是一种非常简单的下载方法,适合用 wgetcurl 或浏览器直接下载单个文件。

  • 操作流程:在 Hugging Face 原版下载链接的域名 huggingface.co 前,添加 hf-,即替换为 https://hf-mirror.com/...

    例如,原地址 https://huggingface.co/bert-base-uncased/resolve/main/config.json 应替换为 https://hf-mirror.com/bert-base-uncased/resolve/main/config.json

🛰️ 方案五:中转服务器 (最稳定)

如果你有位于海外的服务器资源,此方法下载成功率和速度都非常有保障

  • 操作流程:在海外的服务器上,通过命令行工具(如 wget)下载模型,然后使用 scprsync 等工具将模型传回国内的机器。
  • 适用场景:国内镜像不太稳定,但又急需稳定可靠方案时的备选。

🌟 镜像站点对比

除了 hf-mirror.com,还有其他优质镜像可选,你可以根据下面的对比来选择适合自己的:

镜像源 地址 主要特点
hf-mirror.com https://hf-mirror.com 最常用、社区维护、更新及时
ModelScope https://huggingface.modelscope.cn 大厂出品、支持在线开发、体验好
清华镜像 https://mirrors.tuna.tsinghua.edu.cn/huggingface 学术机构维护、稳定性好
GitCode AI https://ai.gitcode.com/models 开源协作平台

🚨 两个常见问题

  • 如何下载需要授权的模型? 对于 Llama-2Gemma 这类 Gated Model,获取授权分两步走:

    1. 获取Token:在官网登录、签署协议后,于 Settings -> Access Tokens 页面申请一个只读(read)权限的令牌(Token,以 hf_ 开头)。
    2. 使用Token下载huggingface-cli 支持 --token 参数,而 hfd 可以使用 --hf_username --hf_token
      关于受限模型的具体下载流程,网上也有一些一站式指南可供参考。
  • 如何离线加载已下载的模型? 将模型文件完整下载并保存到一个文件夹后,可以使用 from_pretrained 函数加载:

    from transformers import AutoModel
    # local-path 是你存放模型文件的本地目录
    model = AutoModel.from_pretrained("./local-path") 
    
Logo

openEuler 是由开放原子开源基金会孵化的全场景开源操作系统项目,面向数字基础设施四大核心场景(服务器、云计算、边缘计算、嵌入式),全面支持 ARM、x86、RISC-V、loongArch、PowerPC、SW-64 等多样性计算架构

更多推荐