【书生·浦语大模型实战营02】《轻松玩转书生·浦语大模型趣味Demo》学习笔记

《轻松玩转书生·浦语大模型趣味Demo》

教程文档：《轻松玩转书生·浦语大模型趣味 Demo·文档》

致谢

感谢助教 MING·X 的帮助～

1、InternLM-Chat-7B 智能对话：生成 300 字的小故事

本节中我们将使用InternLM-Chat-7B 模型部署一个智能对话 Demo。

1.1 环境准备

在InternStudio平台中选择 A100(1/4) 的配置，镜像选择 Cuda11.7-conda，选择的配置如下图所示：

申请成功后，可以看到开发机的状态，

然后点击【进入开发机】；

从本地克隆包含pytorch2.0.1的环境

conda create --name internlm-demo --clone=/root/share/conda_envs/internlm-base

激活环境

conda activate internlm-demo

2、熟悉 hugging face 下载功能，使用 huggingface_hub python 包，下载 InternLM-20B 的 config.json 文件到本地

2.1 设置国内镜像源

export HF_ENDPOINT=https://hf-mirror.com

Note：更多信息请访问 hf-mirror.com - Huggingface 镜像站。

3、在激活conda环境之前执行bash命令

3.1 Q：为什么要在激活环境前执行bash呢？

我们猜测有以下几个可能的原因；

原因一：初始化环境变量和设置

新的 Bash 实例会读取并执行 ~/.bashrc 文件，从而进行对特定的环境变量进行设置；

原因二：清晰的会话开始

在一些情况下，可能想要一个干净的、未受之前命令影响的shell环境。执行 bash 命令可以提供一个新的、干净的工作环境。

南溪：这个效果有点像恢复出厂设置；
ChatGPT4：将 bash 命令比作“手机上的恢复出厂设置”是一个有趣的类比，但它们之间还是有一定的差异；执行 bash 命令会给你一个新的、未受之前会话影响的命令行环境，但它不会对你的整个系统或用户数据进行重置。它更像是打开一个新的、未受旧会话影响的页面，而不是完全把整个“书”恢复到原始状态。

原因三：启用conda环境配置

3.2 开发机中 ~/.bashrc 文件的主要作用

此文件对Bash环境进行了以下主要配置：

1. 命令历史管理：
   • 避免重复和以空格开头的命令出现在历史记录中，有助于保持历史记录的清洁和相关性。
   • 设置历史记录的大小，确保重要的命令不会因为历史限制而丢失。
2. 自动检测窗口大小：
   • 自动更新命令行窗口的大小信息，保证输出格式的正确。
3. 彩色提示符：
   • 根据终端类型，提供了一个彩色的命令行提示符，增加了可读性。
4. 命令别名：
   • 提供了一些常用命令的别名，如 ll、la 和 l，简化了文件系统导航。
   • 特别有用的 alert 别名，用于长时间运行命令完成后的通知。
5. Conda 环境管理：
   • 自动初始化和管理 Conda 环境，这对于管理不同的 Python 版本和依赖包非常关键。
   • 根据指定的环境（如 xtuner 或 base）自动激活 Conda 环境，方便切换到不同的项目或实验。
6. 网络代理配置：
   • 设置了网络代理，对于访问互联网资源和下载依赖时非常有用，尤其是在需要魔法或企业内网环境中。
7. 自定义欢迎信息：
   • 显示自定义的欢迎信息或其他重要信息，提供有关当前环境的即时反馈。