git lfs下载huggingface文件

"时间是金"

Posted by 王川 on May 23, 2023

背景

公司的网络一般都会隔绝外网,因此如果需要连接外网下载huggingface的文件,需要首先添加代理,然后使用git 下载,这里huggingface的datasets和models都很大,如何优雅地下载就是本文解决的内容。

SOP

  1. /usr/bin/sudo yum install git-lfs # 安装git-lfs

  2. cd BAAI/glm-515m/ # 进入到对应的预训练模型地址 (从这边下载)

  3. 执行命令 git lfs install

  4. 执行命令 git lfs pull

    # step1 proxy # 美团跳板机需要首先连接外网 export http_proxy=http://10.22.139.49:6666 export https_proxy=http://10.22.139.49:6666