2021李宏毅机器学习笔记--7 deep learning深度学习 与 fully connect feedforward network全连接前馈网络

摘要

近些年来。在各个领域，用到深度学习的地方越来越多，从深度学习提出之初经历过几次起起伏伏才到今天。本文主要介绍深度学习的三个步骤，全连接前馈网络的概念以及做法。

步骤

step1 Neural network

前文讲到过logistic regression逻辑回归的概念，其实将多个logistic regression逻辑回归前后连接在一起就形成Neural network神经网络，其中一个logistic regression就是一个neuron神经元。
那么应该怎么把他们接起来呢？用什么方法呢？其实是手动连接的，最常见的方法叫做Fully Connect Feedforward Network全连接前馈网络。

Fully Connect Feedforward Network全连接前馈网络

Fully Connect Feedforward Network全连接前馈网络的想法是先把神经元排成一排一排，其中有input layer输入层（其实输入层不能叫一个layer，因为他不是神经元组成的），hidden layer隐藏层（什么叫deep呢？有很多的隐藏层就叫deep），output layer输出层。
通常把前一层的输出当作下一层的输入，直至输出最终的结果，每一个神经元都有自己的weight和bias，可以把同一层的这些参数写作矩阵进行运算，计算结果再经过sigmoid function得到最后的结果。
就是把每个layer的weight和bias都写作矩阵形式，当有输入x进来时进行一连串的矩阵运算，一层一层嵌套，前一层的输出结果经sigmoid function后当作后一层的输入，最后输出结果。
此处进行一连串的矩阵运算的好处是运算过程可以进行GPU加速，节省时间。

step2 goodness of a function

定义一个function的好坏，在神经网络中，怎么定义一组参数的好坏？比如在一个手写辨识中，训练集中给定图片和label的target，把他们送到neural network里面，输出一个预测标签，然后把这个输出与他本身的label做cross entropy交叉熵。交叉熵定义了输出与label的target的距离，如果cross entropy比较大的话，说明output和target之间距离很远，这个network的parameter预测该样本的loss是比较大的。

step3 Backpropagation

接下来的事就是调整参数，使得这个cross entropy越小越好，需要把一般部分data的cross entropy都sum起来，得到一个total loss ，

得到total loss之后通过Backpropagation的方法对网络中的所有参数（ w 和 b）进行更新，最终是total loss达到最低值。怎么找呢？用gradient descent。

小结与展望

本文主要介绍了深度学习的三个步骤，其中接触到了有关神经网络的概念，其实就是把logistic regression前后连接起来，每一个logistic regression 叫做一个神经元，连接的方法本章介绍了fully connect feedforward netword全连接前馈网络，其实就是将神经元排成一排一排，将前一层的输出当作下一层的输入，经过若干层得到一组最终输出即为结果。在评判函数好坏的过程中引入了交叉熵的概念，最后也用到了梯度下降进行调整参数，在后面的学习中将继续学习神经网络有关知识。