深度学习笔记---神经网络输出层的激活函数简介

# 1.导入

神经网络可以用在分类问题和回归问题上。

分类问题：数据属于哪一个类别的问题。   回归问题：根据某个输入预测一个数值（连续的）的问题。

一般而言，分类问题用softmax函数，回归问题用恒等函数。

# 2.恒等函数的介绍及其实现

恒等函数会将输入按原样输出。恒等函数的实现如下：

def identity_function(a):
	return a

# 3.softmax函数的介绍及其实现

softmax函数的数学式表示：

这里假设输出层共有n个神经元，计算第k个神经元的输出yk。如上述数学式所示，分子为第k个神经元输入信号ak的指数函数，分母是输出层所有神经元输入信号的指数函数之和。

softmax函数的实现：

# 原始版本
def softmax(a):                 # 入口参数为输入层神经元的输入信号数组a
    exp_a = np.exp(a)           # 调用NumPy库的exp函数，对数组a的每一个元素求以e为底的指数函数值，得到数组exp_a
    sum_exp_a = np.sum(exp_a)   # 调用NumPy库的sum函数，将数组exp_a中的所有元素求和，得到sum_exp_a
    y = exp_a/sum_exp_a         # 通过将数组exp_a除以sum_exp_a，使得数组exp_a中每一个元素除以sum_exp_a，得到输出信号数组y(这里利用了NumPy数组的广播功能)
    return y
	

# 防溢出版本
def softmax(a):
	c = np.max(a)           # 与原始版本不同的地方就是将信号数组的每一个元素小化后再进行运算。（小化就是减去元素最大值）
	exp_a = np.exp(a-c)         
	
	sum_exp_a = np.sum(exp_a)
	y = exp_a/sum_exp_a
	return y

softmax函数的特征：

softmax函数的输出是0.0到1.0之间的实数，并且softmax函数输出值的总和是1。正因为有了这个性质，我们才可以把softmax函数的输出解释为“概率”。比如：对于输出信号数组y[0.1,0.8,0.1]，可以解释为y[0]的概率是0.1、y[1]的概率是0.8、y[2]的概率是0.1，第一个元素概率最高，所以答案是第一个类别。

softmax函数的省略：

在机器学习的推理阶段可以省略softmax函数。因为y=exp(x)为单调递增函数，输入信号数组a与输出信号数组y中的各个元素大小关系并没有发生变化，而神经网络只把输出值最大的神经元所对应的类别作为识别结果。实际上，在输出层使用softmax函数，只是因为它和机器学习的学习阶段有关联。

 

# 本博客参考了《深度学习入门——基于Python的理论与实现》（斋藤康毅著，陆宇杰译），特在此声明。