解决ChatGML启动报错:RuntimeError: expected scalar type Half but found Float

1、编辑web_demo2.py文件

2、在原始命令加上.half()

原始命令:model = AutoModel.from_pretrained("/app/model/chatglm2-6b",trust_remote_code=True).half().cuda()

改为:model = AutoModel.from_pretrained("/app/model/chatglm2-6b",trust_remote_code=True).cuda()

你可能感兴趣的:(大模型,人工智能,chatGML)