机器学习笔记 temperature+Softmax

1 介绍

带temperature的Softmax，用公式描述，可以表示为

直观感受一下

import numpy as np

def exp_tem(x,tau):
    return np.exp(x/tau)/sum(np.exp(x/tau))

print(exp_tem(np.array([1,2,3]),2))
#[0.18632372 0.30719589 0.50648039]
print(exp_tem(np.array([1,2,3]),1))
#[0.09003057 0.24472847 0.66524096]
print(exp_tem(np.array([1,2,3]),0.5))
#[0.01587624 0.11731043 0.86681333]

不难发现，t越大，各个类之间的差距越小，结果越“平滑”；t越小，各个类之间的差距越大，结果越“尖锐”。

2 temperature的作用

个人觉得可以在一定程度上类比成强化学习的ε-greedy，如果temperature设置得比较大，那么各个类之间的差别不大，就有很大概率选到不同的类，获得了一定的exploration空间；如果temperature设置得比较小，那么概率最大的类 得到的结果数值会“鹤立鸡群”，那么基本上选择的就是这个类了。

所以我们可以设置 temperature  ，随着模型的更新，temperature越来越小，也就逐渐从exploration转向exploitation了。

参考文献：深度学习中的temperature parameter是什么 - 知乎 (zhihu.com)