NExT-GPT复现之——llama踩坑

NExT-GPT复现了快一周，库一多真的各种BUG！各种release和flag不一样也导致配置起来顾此失彼。等配置完了一定搞一个docker发出来！

这里记录一下llama踩坑。

由于llama2发布，llama1的权重很难申请到。学生邮箱两周都没消息。想使用llama2的权重，但是bug还是很多，而且md5码是错误的。

pyllama 在windows下

https://github.com/Xianchao-Wu/pyllama

首先是需要配置cmake，然后从sourse安装itree。

python -m llama.download  --model_size 7B --folder /tmp

全是空行，debug发现卡在这里一直retry.

 retcode = hiq.execute_cmd(cmd, verbose=False, shell=True, runtime_output=True, env=os.environ)

https://github.com/juncongmoo/pyllama/issues/50

安装weget等:

• 如果您使用的是 Windows，则必须安装 WSL 和 bash 才能运行下载脚本。
• 你必须安装wget（在linux版本中）
• HIQ 似乎在 cmd 中执行 bash shell 脚本时出现问题
• 你可以做的是，手动创建一个下载脚本的版本并添加你的director（Linux格式）并添加你想要的模型作为字符串
• 现在只需使用 wsl 并在命令行中打开 bash 并运行下载脚本
• 现在您已经安装了所需的型号并可以继续设置。

Windows 10 中 Bash Shell https://www.jianshu.com/p/a90591d5db0c
如何使用 WSL 在 Windows 上安装 Linux https://learn.microsoft.com/zh-cn/windows/wsl/install

报错

适用于 Linux 的 Windows 子系统没有已安装的分发版。
可以通过访问 Microsoft Store 来安装分发版:        
https://aka.ms/wslstore    

使用：

 wsl --install -d Ubuntu
 或
 wsl --install --distribution Debian

安装wget