机器学习课后题——神经网络

6.1 试述将线性函数f(x) = wTx作为激活函数的缺陷。

答：

如果使用线性函数作为激活函数时，无论是在隐藏层还是在输出层，本质上其单元值还是输入x的线性组合。

这个时候的若神经网络输出层使用Sigmoid函数退化为逻辑回归，若输出层也使用线性函数作为激活函数，那么就退化为线性回归。

6.2 以下是几种在神经网络或深度学习网络中常用的激活函数，试总结激活函数所具备的特征，并解释下面几种函数是否适合作为激活。

答：

  激活函数一般特征：

1. 非线性：

激活函数为非线性激活函数的时候，基本上两层的神经网络就可以模拟大多数函数。如果为线性，缺陷见6.1题。

1. 有界（大多数）：

当输出有界的时候，基于梯度的优化方法会更加稳定，因为特征量表示受到有限权值的影响会更加显著。

同时，当输出无界时，模型训练更加有效果。

1. 单调性：

当激活函数是单调函数的时候，单层的神经网络能够保持是凸函数。

1. 可微且导数易于计算或者表示：

在进行梯度优化和计算的时候，必须满足函数可微性的这一个条件以方便进行求导运算。

（1）gx= 11+e-ax ,a>0

当a = 1时，为Sigmoid函数，a取其他正值情况与之类似。

它主要的特点是，它能够将输入的连续实数值压缩到0和1之间的输出值。当取到特别的值的时候，趋近于 +∞的时候，输出的值趋近于1；当趋近于 -∞  的时候，输出值趋近于0。

曾经，Sigmoid函数为神经网络计算过程中的主要激活函数，但是现在它已经不太受欢迎，实际中很少使用。原因是sigmoid存在3个问题：

• sigmoid函数饱和使梯度消失。
• sigmoid函数输出不是“零为中心”(zero-centered)。
• 指数函数的计算是比较消耗计算资源的。

（2）gx= 1-e-ax1+e-ax=tanhax2，a>0

当a = 2时，为Tanh函数，a取其他正值情况与之类似。

tanh 作为sigmoid 函数的改进版本，将函数值压缩在了[-1,1]之间，并且是一个关于原点对称的函数。它是完全可微分的，反对称，对称中心在原点。在梯度的反向传播过程中解决了 sigmoid函数中的一些问题，但是指数运算性质和梯度消失问题仍然存在。

（3）gx=x1+x2

函数图像如下所示：

 

函数单调，有界，且非线性，适合作为激活函数。

6.3 神经元j从其它四个神经元接受输入，它们的值分别为10，-20，4，-2。神经元j的每个突触的权值分别为0.8，0.2，-1.0，-0.9。计算下列两种情况下神经元j的输出。

（1）偏置θ=0 ，神经元是线性的（即不经过激活函数的处理）。

（2）偏置θ=0 ，神经元的激活函数为sigmoid函数。

（3）偏置θ=-9 ，神经元的激活函数为sigmoid函数。

答：计算结果如下图所示：

 

6.4  利用前向传播算法，补全下列网络中结点取值。

 

注：g(x)为sigmoid函数

 

答：

补全后网络如下所示：

 

6.5 依据后向传播算法，补全下列网络的结点误差。

输入特征向量[2.00, 0.00]时，由前向传播算法得到如下结果：

 

对类别向量y1=[1, 0]，后向误差传播如下：

 

对类别向量y2=[0, 1]，后向误差传播如下：

 

答：

补全结果如下所示：