神经网络：《机器学习》第五章

神经网络是由具有适应性的简单单元组成的广泛并行互联的网络，它的组织能够模拟生物神经系统对真实世界物体所做出的交互反应，神经网络中的每个神经元的模型是$f(\sum w_i{x}_i-\theta )$，其中$\theta$是神经元阈值，$f(x)$是激活函数，常用$sigmoid$函数，两层神经元组成的模型是感知机，使用梯度下降即可学习，代码在这。要解决非线性可分的问题需要使用多层神经元，全互联且不存在跨层/同层连接的模型是多层前馈神经网络，利用链式法则根据评估指标求偏导和$sigmoi{d}^{\prime }(x)=sigmoid(x)(1-sigmoid(x))$的性质即可推导出反向传播算法（BP），基于梯度下降迭代权重和阈值。$BP$算法的目标是最小化训练集上的累积误差，累积$BP$算法读取整个训练集一遍之后才对参数更新，标准$BP$算法每次更新只针对单个样例，类似于随机梯度下降和标准梯度下降的区别。为了避免过拟合可以采用一些措施，存在多个局部极小时为了达到全局最小可以采用多种方法，但这些方法大多是启发式，缺乏理论保障，还有另外一些神经网络

深度神经网络通过提高隐层的数目来提高容量，但误差反向传播可能会无法收敛到稳定状态，可以采用逐层训练和权共享的方式节省训练开销