“erfinv_vml_cpu“ not implemented for ‘Half‘

在复现qwen-vl的qlora的时候报错，"erfinv_vml_cpu" not implemented for 'Half'，具体原因是这个文件里的 .cache/huggingface/modules/transformers_modules/Qwen/Qwen-VL-Chat-Int4/cbe5f4e5a742f3019d084e0d53861f72b4e60350/visual.py 的初始化函数trunc_normal_(self.query, std=.02)，输入的是一个cpu上的float16变量，看报错的话八成是这个float16类型的cpu上的初始化函数没有实现，那么我们的解决思路就是把这个变量挪到gpu上，初始化好了在挪回来就行，

        wkktmp = self.query.cuda()
        #trunc_normal_(self.query, std=.02)
        trunc_normal_(wkktmp, std=.02)
        self.query = nn.Parameter(wkktmp.cpu())

这么一弄确实解决了这个问题了。不过我又遇到了其他问题，主要是c++编译器问题，所以暂时没法做端到端验证。