TensorFlow在拟合函数的时候,为什么需要进行两个全连接并且加上一个激活函数呢?

问题:TensorFlow在进行拟合函数的时候,为什么需要进行两个全连接并且加上一个激活函数呢?


首先,我们先提到三层神经元网络

三层神经元网络:

TensorFlow在拟合函数的时候,为什么需要进行两个全连接并且加上一个激活函数呢?_第1张图片
神经网络的层数,指定的是能够产生训练参数的为一次,像激活函数就不是一层

输入层-----隐藏层-----输出层

隐藏层的神经元是输入层的神经元的线性变换


从最简单的说起

如果输入只有一个神经元

TensorFlow在拟合函数的时候,为什么需要进行两个全连接并且加上一个激活函数呢?_第2张图片

其中: z = a x + b z = ax + b z=ax+b 是一条直线

隐藏层的一个神经元就是一条直线

而激活函数的作用(relu)就是将这条直线经过x轴下半部分全部都删掉了

并将删掉的部分与x轴进行重合

TensorFlow在拟合函数的时候,为什么需要进行两个全连接并且加上一个激活函数呢?_第3张图片
这样一个神经元代表的就是两条折线

从隐藏层到输出层,需要乘以 p i p_i pi

函数的斜率就改变了

TensorFlow在拟合函数的时候,为什么需要进行两个全连接并且加上一个激活函数呢?_第4张图片
从输入的一个 神经元在到唯一的一个输出,就是一个两折线


如果中间层有两层神经元呢?

就是两条折线的相加

中间层有多个神经元就相当于多条折线的相加,这样就可以拟合任何一种函数了!!!

注意点:卷积操作是线性的,激活函数的操作是非线性的


你可能感兴趣的:(深度学习)