git clone 代码克隆;hugging face 数据、模型下载

github、huggingface 代码 模型下载

  • 一、github clone
    • 1. 下载安装
    • 2. ssh配置
      • 2.1 添加ssh的key
      • 2.2 在linux服务器上获取ssh key
        • 1)查看服务器上的是否已经添加ssh key
        • 2)创建 key
      • 2.3 测试
    • 3. clone仓库
  • 二、huggingface
    • 1. ssh配置
    • 2. ssh配置测试
    • 3. 下载hugging face模型
    • 4. 仍然存在的问题

由于本人使用的是实验室的linux服务器,下载代码的时候会有网络问题,所以本文是基于ssh的方法。

一、github clone

1. 下载安装

需要sudo权限:
sudo apt-get install git
git lfs 用于下载大规模数据,例如大模型

1. curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
2. sudo apt-get install git-lfs
3. git lfs install

2. ssh配置

在进行配置之前,
1)使用hugging face下载模型会报错:
[email protected]: Permission denied (publickey).
2)使用git clone会报错:
ssh: Could not resolve hostname git: Temporary failure in name resolution

2.1 添加ssh的key

1)登录github,点击右上角头像,点击setting
git clone 代码克隆;hugging face 数据、模型下载_第1张图片
3)点击左侧的SSH and GPG keys,出现SSH keys页面,点击New SSH keys添加
git clone 代码克隆;hugging face 数据、模型下载_第2张图片
git clone 代码克隆;hugging face 数据、模型下载_第3张图片
3)可以看到需要填写key,这个key需要从linux服务器获取
git clone 代码克隆;hugging face 数据、模型下载_第4张图片

2.2 在linux服务器上获取ssh key

1)查看服务器上的是否已经添加ssh key

cd ~/.ssh
ls
在这里插入图片描述
包含xx.pub文件说明已经创建了ssh key;如果不包含xx和xx.pub文件,则需要创建key

2)创建 key

命令:

ssh-keygen -t rsa -C "github邮箱
cat ~/.ssh/id_rsa.pub

进入创建的id_rsa.pub文件查看key:

vi id_rsa.pub

复制文件中内容至图中的Key位置
git clone 代码克隆;hugging face 数据、模型下载_第5张图片

2.3 测试

代码:ssh -T [email protected]
如果设置成功则显示:
在这里插入图片描述

3. clone仓库

点击code,复制仓库地址,在命令行中输入 git clone xx.gitgit lfs clone xx.git
git clone 代码克隆;hugging face 数据、模型下载_第6张图片

二、huggingface

1. ssh配置

登录huggingface,进入链接: https://huggingface.co/settings/keys
之后的过程与github中的配置一样。
git clone 代码克隆;hugging face 数据、模型下载_第7张图片

2. ssh配置测试

代码:ssh -T [email protected]
如果设置成功则显示:
在这里插入图片描述

3. 下载hugging face模型

点击 Clone repository,执行该命令。
git clone 代码克隆;hugging face 数据、模型下载_第8张图片
git clone 代码克隆;hugging face 数据、模型下载_第9张图片

4. 仍然存在的问题

使用 git lfs clone xxx 不支持ssh克隆,也就是大文件无法通过这种方式下载。博主仍然通过进入File and versions,手动下载,再上传到服务器。
git clone 代码克隆;hugging face 数据、模型下载_第10张图片有知道解决方法的小伙伴可以私信博主,不胜感激~

你可能感兴趣的:(多模态大模型,MLLM,git,python,深度学习)