对话小羊驼vicuna

1. gpu租用

1. 阿里云 (Alibaba Cloud)

   https://www.aliyun.com

2. 腾讯云 (Tencent Cloud)

   https://cloud.tencent.com

3. 华为云 (Huawei Cloud)

   https://support.huaweicloud.com

4. 百度智能云 (Baidu AI Cloud)

   https://cloud.baidu.com

5. AutoDL

   https://www.autodl.com

6. 恒源云（Gpushare Cloud）

   https://gpushare.com

RTX 4090：非常高的性价比，适合 推理任务 和 中小规模训练

A100：大规模训练 或 长时间运行推理任务

2. 公网网盘存储实例/数据

1. 百度网盘
2. 阿里云盘

gpu云服务商会提供与公网网盘连接、上传、下载的详细操作手册
推荐阿里云盘，更快更稳定!

3. 登录实例

1. 控制台内置终端
2. Xshell
3. finalshell

4. 预训练模型下载

1. hugging face

   https://huggingface.co

   国内镜像

   https://hf-mirror.com

2. ModelScope 魔搭社区

   https://www.modelscope.cn

3. Paddle 百度飞桨

   https://aistudio.baidu.com

4. tensorflow hub

   TensorFlow Hub (google.cn)

   支持tensorflow框架

5. pytorch hub

   PyTorch Hub | PyTorch

   支持pytorch框架

5. llama、alpaca、vicuna的前世今生

用ChatGPT训练出的AI，能超越自己的师傅吗？【3分钟AI】_哔哩哔哩_bilibili

6. 对话Vicuna

小羊驼 Vicuna，宣称实现了GPT-4 90%的功能。
由 UC Berkeley、CMU、Stanford的学者联合推出的一个模型参数70亿/130亿的开源对话模型。

（1）llama-2-7b-hf

获得huggingface的token，详见我的上篇博客，操作类似
如何获取huggingface token下载llama
执行命令拉取llama-2-7b-hf

huggingface-cli download --token hf_*** --resume-download meta-llama/Llama-2-7b-hf --local-dir ./llama-2-7b-hf

（2）vicuna-7b-delta-v0

git clone https://hf-mirror.com/lmsys/vicuna-7b-delta-v0

（3）vicuna-7b-v0

pip install fschat==0.1.10

基于一个已有的基础模型，加载增量模型的权重，从而得到一个新的模型。

python -m fastchat.model.apply_delta --base /hy-tmp/llama-2-7b-hf --target /hy-tmp/vicuna-7b-v0 --delta /hy-tmp/vicuna-7b-delta-v0

base	指定基础模型的路径
target	增量应用后生成的目标模型的存储路径
delta	更新或变更部分的模型权重

（4）执行推理

python -m fastchat.serve.cli --model-path /hy-tmp/vicuna-7b-v0