Baichuan2大模型,messages里传递了历史对话记录,但是回答跟历史记录不连贯,没有上下文的效果,问题解决!!!
**选用大模型:Baichuan2-13B-Chat问题解决:max_new_tokens设置的过大跟踪过源码以后发现,用户输入的Token最大长度(max_input_tokens),等于max_length-max_new_tokens,也就是说max_new_tokens越小越好。方案解析:因为baichuan2大模型的max_length最大是4096,如果你的max_new_tokens