人工神经网络

人工神经网络（artificial neural network）是感知器（perceptron）和激活（activation）函数的集合，网络的隐藏层由多个感知器所组成，隐藏层提供非线性化，将输入层映射为低维的输出层。映射是累加输入层与权重的乘积，再加上偏移值。模型（model）就是网络结构的全部权重值（weight）和全部偏移值（bias）。

ANN

模型的训练过程，就是为了确定最合适的权重和偏移的值。在训练开始时，模型的值会被随机初始化。使用损失函数（loss function），对比训练的结果与真值（ground truth）的差异。根据损失值，在步骤中，参数不断地被调整。当损失值不能进一步下降时，训练被停止。在训练中，模型学习到数据的特征（feature）。特征是原始图像的抽象。

在通用的逼近定理（approximation theory）中，神经网络可以近似任何函数。隐藏层也可以被称之为全连接层（dense layer）。每一层都含有一个激活函数。层的数量取决于问题的难度。

反向传播：

1. 随机初始化参数；
2. 根据反向传播原理，链式求导，获得计算参数梯度的公式；
3. 将其他参数，带入梯度公式，即w1的导数值，由其他参数w决定；
4. 获得梯度值，再乘以学习率，下降的具体梯度值；
5. 参数值，减去梯度值，完成梯度下降；

参考1、 参考2