大模型中的temperature、topk、topn、repetition_penalty等参数原理
核心就在于采样策略,一图胜千言:上图中语言模型(languagemodel)的预测输出其实是字典中所有词的概率分布,而通常会选择生成其中概率最大的那个词。不过图中出现了一个采样策略(samplingstrategy),这意味着有时候我们可能并不想总是生成概率最大的那个词。设想一个人的行为如果总是严格遵守规律缺乏变化,容易让人觉得乏味;同样一个语言模型若总是按概率最大的生成词,那么就容易变成XX讲话