【轻松玩转书生·浦语大模型趣味Demo】学习笔记

学习参考文档【轻松玩转书生·浦语大模型趣味 Demo】

实操

本地端口配置

生成 SSH密钥对

打开Windows PowerShell终端，输入ssh-keygen -t rsa来生成SSH密钥对

但是默认情况下生成的密钥会默认使用本机的用户名，如果本机的账户用户名设置是中文的话，会有中文夹杂在其中，而且中文在终端中一般显示为乱码

为了避免这种情况，需要在生成SSH密钥时避免在标识信息中（图片中的标识信息即为娌愮櫧@Michelle）使用中文，确保使用不包含中文字符的文本。

例如，可以使用以下命令生成SSH密钥，并在标识信息中使用英文字符：

ssh-keygen -t rsa -C "[email protected]"

可以将 “[email protected]” 替换为电子邮件地址或其他英文标识符。这样生成的密钥信息中就不会包含中文了。

查看生成公钥

公钥默认存储在 ~/.ssh/id_rsa.pub，可以通过系统自带的 cat 工具查看文件内容：

cat ~\.ssh\id_rsa.pub

~ 是用户主目录的简写，.ssh 是SSH配置文件的默认存储目录，id_rsa.pub 是 SSH 公钥文件的默认名称。所以，cat ~\.ssh\id_rsa.pub 的意思是查看用户主目录下的 .ssh 目录中的 id_rsa.pub 文件的内容。

添加SSH公钥

• 复制生成的公钥
• 回到InternStudio控制台，点击配置 SSH Key，然后添加SSH公钥
  
  

连接SSH公钥

ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 34563

连接多次问题

多次生成 SSH密钥对之后，由于计算机已经保存了旧的SSH主机密钥信息，新的连接尝试会与此不匹配，出现错误。
解决这个问题，删除旧的名字或地址即可。

• 首先，终端输入命令行notepad C:\Users\29436\.ssh\known_hosts
• 回车，打开known_hosts文件，会发现其中包含了多个具有相同主机名 [ssh.intern-ai.org.cn] 但不同端口的密钥信息
• 清空known_hosts文件，然后再次输入ssh -CNg -L 6006:127.0.0.1:6006 [email protected] -p 34563，就可以连接成功

浦语·灵笔图文理解创作 Demo

cuda内存不足问题

torch.cuda.OutOfMemoryError：cuda内存不足。已尝试分配20.00 MiB（GPU 0；19.99 GiB总容量；已分配19.05 GiB；10.00 MiB可用；PyTorch总共保留19.43 GiB）如果保留内存>>已分配内存，请尝试设置max_split_size_mb以避免碎片。请参阅内存管理和PYTORCH_CUDA_ALLOC_COFF的文档

cuda内存不足会导致出现上面的问题。解决这个问题的办法是配置开发机时不要选择A100(1/4)*1的配置，要按照教程选择A100(1/4)*2的显卡配置

作业

hugging face 下载功能，使用 huggingface_hub python 包，下载 InternLM-20B 的 config.json 文件到本地

InternLM-Chat-7B 模型生成 300 字的小故事

浦语·灵笔的图文理解及创作部署

Lagent 工具调用 Demo 创作部署