基于线性回归对神经网络的解释以及梯度下降鞍点与局部最优的产生原理

首先，机器学习的本质是让计算机找到一个函数来解决问题，这种函数非常复杂以至于人类无法直接手写出来。本文参考李宏毅教授视频ML 2021 Spring

神经网络是解决线性不可分问题，你可以引入多条线来分割当然我们也可以引入激活函数（非线性函数）让线段更加扭曲使分割效率更好。如图sigmoid函数能让线段成阶梯式

 

在sigmoid函数中不同的权重会改变函数图像

而神经网络就是通过参数X去训练W权重再通过非线性激活函数，最后不同的神经元拼接在一起使之成为一个复杂的函数

 

梯度下降就是损失函数通过导数去逼近导数为0的位置，从而减小损失函数的值，这里不过多解释梯度下降原理。梯度下降最大的问题在于会遇到鞍点与局部最优。在神经网络中，我们无法知道整个损失函数的图像，我们无法从公式的角度理解局部最优与鞍点产生的原理。李宏毅教授举了以下例子解释

 

 通过上图，x通过两层简单的神经元，其中可以看到通过MSE损失函数求导w1，w2有多个导数为0的值，所以也就会有局部最优，而在高维的函数中则还可能会生成鞍点。