【期末复习向】top-k方法

什么是top-k方法?top-k方法常用于解决许多海量数据处理相关的问题,例如在1亿个数据中找出访问次数前1000的热点数据,在海量搜索字符串中找出搜索频率排在前十的搜索字符串等等。而在分类问题中,top-k也有其应用。

例如在分类任务中的类别数很多时(如ImageNet中1000类),想要完美分类任务是比较困难的。但是模型虽然不能准确地将ground truth作为最高概率预测出来,但通过学习,至少groud truth的准确率能够在所有类中处于很靠前的位置,这在现实生活中也是有一定应用意义的。

对于文本生成而言,下一个字的预测也有多个概率。选取多少个字符进行采样是由自己决定的,增加k值会带来更多样化的结果,但输出错误的风险也会增加;减少k产生更安全但更低多样性的输出

你可能感兴趣的:(top-k,深度学习)