背景
公司的网络一般都会隔绝外网,因此如果需要连接外网下载huggingface的文件,需要首先添加代理,然后使用git 下载,这里huggingface的datasets和models都很大,如何优雅地下载就是本文解决的内容。
SOP
-
/usr/bin/sudo yum install git-lfs # 安装git-lfs
-
cd BAAI/glm-515m/ # 进入到对应的预训练模型地址 (从这边下载)
-
执行命令 git lfs install
-
执行命令 git lfs pull
# step1 proxy # 美团跳板机需要首先连接外网 export http_proxy=http://10.22.139.49:6666 export https_proxy=http://10.22.139.49:6666