NExT-GPT复现之——llama踩坑

NExT-GPT复现了快一周,库一多真的各种BUG!各种release和flag不一样也导致配置起来顾此失彼。等配置完了一定搞一个docker发出来!

这里记录一下llama踩坑。

由于llama2发布,llama1的权重很难申请到。学生邮箱两周都没消息。想使用llama2的权重,但是bug还是很多,而且md5码是错误的。

pyllama 在windows下

https://github.com/Xianchao-Wu/pyllama

首先是需要配置cmake,然后从sourse安装itree。

python -m llama.download  --model_size 7B --folder /tmp

全是空行,debug发现卡在这里一直retry.

 retcode = hiq.execute_cmd(cmd, verbose=False, shell=True, runtime_output=True, env=os.environ)

https://github.com/juncongmoo/pyllama/issues/50

安装weget等:

  • 如果您使用的是 Windows,则必须安装 WSL 和 bash 才能运行下载脚本。
  • 你必须安装wget(在linux版本中)
  • HIQ 似乎在 cmd 中执行 bash shell 脚本时出现问题
  • 你可以做的是,手动创建一个下载脚本的版本并添加你的director(Linux格式)并添加你想要的模型作为字符串
  • 现在只需使用 wsl 并在命令行中打开 bash 并运行下载脚本
  • 现在您已经安装了所需的型号并可以继续设置。

Windows 10 中 Bash Shell https://www.jianshu.com/p/a90591d5db0c
如何使用 WSL 在 Windows 上安装 Linux https://learn.microsoft.com/zh-cn/windows/wsl/install

报错

适用于 Linux 的 Windows 子系统没有已安装的分发版。
可以通过访问 Microsoft Store 来安装分发版:        
https://aka.ms/wslstore    

使用:

 wsl --install -d Ubuntu
 或
 wsl --install --distribution Debian

安装wget

你可能感兴趣的:(gpt,llama)