困惑度perplexity

看了网上许多对困惑度的解释看的我相当困惑，各种公式什么的也看不明白，总结其中最简单直观的解释是：困惑度反应的是你的模型对预测下一个字符时有多少可选项，困惑度越低说明你的模型对下一个字符预测的把握越大，比如当困惑度为20时说明你的模型在预测下一个字符时它有20个选项，然后它就很困惑要选哪个毕竟有20个选项都很有可能是正确的，当困惑度接近1时说明你的模型预测下一个字符只有一个可选项，这从侧面也反映你的模型在预测这个字符时自信度很高可以确定就是这个字符不可能是其他字符了。

举个例子有一段话：I like money.

当模型困惑度为3，模型预测出前面两个词I like后它估计有三个选项可选，比如money, eat,girl.然后模型就有点困惑不知道该在这三个里面选哪个。

当模型困惑度为1时，模型预测出I like后它估计只有一个选项可选也就是money，这说明这个模型训练的挺好在预测到第三个词的时候毫不犹豫一点都不困惑的在money，eat，girl里面选择了money。