深度学习入门——softmax函数的改进

• softmax函数的运算涉及到了指数函数的计算，故对于计算机而言就存在了一个 “溢出问题”
• 因为指数函数的增长容易变得非常大，这些超大值之间进行除法，结果会出现 nan（not a number 不确定）
• 计算机在进行数值运算时，数值的大小必须在4字节或者8字节的有效数据带宽内

故需要对softmax函数进行改进：

• 在分子分母同乘以C常数，结果不变。
• 故在softmax函数的指数运算中，加上或者减去某个常数并不会改变运算的结果（实际上是乘法）
• 一般情况下，在指数上减去输入信号中的最大值，进行溢出抑制

import numpy as np


def softmax(x):
    if x.ndim == 2:
        x = x.T # 转置
        x = x - np.max(x, axis=0)
        y = np.exp(x) / np.sum(np.exp(x), axis=0)
        return y.T

    x = x - np.max(x) # 溢出对策
    return np.exp(x) / np.sum(np.exp(x))


a = np.array([0.3, 2.9, 4.0])
y = softmax(a)
print(y)
print(np.sum(y)) # softmax函数的形式决定

• softmax函数的输出的结果是0~1之间的结果
• softmax函数的输出总和为1（重要性质）,因为这个性质softmax函数的输出可以被解释为“概率”