全连接网络

1.架构

参考链接：深度学习开端｜全连接神经网络 - 知乎

基本的结构：输入层(样本数据)；隐藏层(隐藏层的层数和每层的神经元数目需要自己给定)；输出层(预测目标)

2.计算

神经元是上一层的输入与权重相乘后求和，在经过非线性函数转换。得到下一层的输出。

可表述为：

 其中，非线性函数f是激活函数，加入激活函数，使得模型可以处理非线性问题，常用激活函数包括sigmoid函数 ；tanh函数

和 relu函数。（tanh函数和sigmoid函数一样，可将求和的值限制在(0,1)之间）；

3. 反向传播

神经网络训练过程中，需要使得网络的输出与真实观测LOSS最小，这一点通过反向传播实现。整个网络的训练过程就是不断缩小损失Loss 的过程。如公式所示：

 使得损失最小化的关键是通过反向传播不断学习得到w和b参数，得到最优的w和b，使得LOSS最小。