李宏毅深度学习笔记——深度学习基本概念

深度学习

神经网络

神经元示意图（转载）

Inputs：输入。

Weights：权值，权重。

Bias：偏置，或者称为阈值 (Threshold)。

Activation function：激活函数。

1958年，计算科学家Rosenblatt提出了由两层神经元组成的神经网络。在“感知器”中，有两个层次。分别是输入层和输出层。输入层里的“输入单元”只负责传输数据，不做计算。输出层里的“输出单元”则需要对前面一层的输入进行计算。与神经元模型不同，感知器中的权值是通过训练得到的。因此，根据以前的知识我们知道，感知器类似一个逻辑回归模型，可以做线性分类任务。

Minsky说过单层神经网络无法解决异或问题。但是当增加一个计算层以后，两层神经网络不仅可以解决异或问题，而且具有非常好的非线性分类效果。不过两层神经网络的计算是一个问题，没有一个较好的解法。

1986年，Rumelhar和Hinton等人提出了反向传播（Backpropagation，BP）算法，解决了两层神经网络所需要的复杂计算量问题，从而带动了业界使用两层神经网络研究的热潮。目前，大量的教授神经网络的教材，都是重点介绍两层（带一个隐藏层）神经网络的内容。 

随着网络深度的增加，每一层节点个数的增加，都可以加强网络的表达能力，网络的复杂度越高，其表示能力就越强，也就可以表达更复杂的模型。对网络的学习其实主要是对网络中各个节点之间的连接权值和阈值的学习，即寻找最优的连接权值和阈值从而使得该模型可以达到最优（一般是局部最优）

神经网络的运算主要由矩阵的运算激活函数运算组成。神经网络的本质就是通过参数与激活函数来拟合特征与目标之间的真实函数关系。与单层神经网络不同。

理论证明，两层神经网络可以无限逼近任意连续函数。从输入层到隐藏层时，数据发生了空间变换。也就是说，两层神经网络中，隐藏层对原始的数据进行了一个空间变换，使其可以被线性分类，然后输出层的决策分界划出了一个线性分类分界线，对其进行分类。隐藏层的参数矩阵的作用就是使得数据的原始坐标空间从线性不可分，转换成了线性可分。两层神经网络通过两层的线性模型模拟了数据内真实的非线性函数。

与两层层神经网络不同。多层神经网络中的层数增加了很多。增加更多的层次有什么好处？更深入的表示特征，以及更强的函数模拟能力。更深入的表示特征可以这样理解，随着网络的层数增加，每一层对于前一层次的抽象表示更深入。在神经网络中，每一层神经元学习到的是前一层神经元值的更抽象的表示。例如第一个隐藏层学习到的是“边缘”的特征，第二个隐藏层学习到的是由“边缘”组成的“形状”的特征，第三个隐藏层学习到的是由“形状”组成的“图案”的特征，最后的隐藏层学习到的是由“图案”组成的“目标”的特征。通过抽取更抽象的特征来对事物进行区分，从而获得更好的区分与分类能力。

神经网络的训练

神经网络的训练与一般机器学习一致。首先，随机选取一组参数，训练集数据经过正向传播后，得到一组预测数据。通过SGD等优化算法最小化预测数据与真实数据之间损失函数（类似与逻辑回归计算交叉熵），并采用反向传播算法更新网络参数

反向传播算法

链式法则

部分内容转载自：

神经网络——最易懂最清晰的一篇文章

https://blog.csdn.net/illikang/article/details/82019945

神经网络详解（基本完成）

原文链接：https://blog.csdn.net/as091313/article/details/79080583