全连接前馈神经网络DNN

全连接前馈神经网络DNN

1.DNN概述

• 前馈神经网络中，各神经元属于不同层，信号从输入层向输出层单向传播（有向无环图）       

• 人工神经元模型：输入：x1，x2    权重：w1，w2      偏置：b      输出z=w1*x1+w2*x2+。。。+b    激活后输出y

• 结构：输入层input layer    隐藏层hidden layer（n层）      输出层output layer

• DNN采用Softmax做输出层激活函数，隐藏层各层激活函数选sigmoid即可

2.softmax函数：

• 归一化指数函数，是二分类函数sigmoid在多分类下的推广

• 其主要两个作用：1. 将预测结果转为非负数    2. 使各个预测概率之和为1（归一化）

3.DNN模型结构：

• 从L-1到L，每一层都有一个层间连线权重w和偏执参数b，除输入层外其余各层均有激励函数

4.梯度下降：

• 神经网络参数量巨大，一般通过迭代调参寻找最优参数，通过梯度下降找到损失函数的最小值，使模型预测值递归性的逼近真实值，从而确定最优参数。

• 步骤：1.定义一个损失函数，表示预测值与真实值之间的差距，将问题转化为损失函数求极值（极小值）    2.优化损失函数，通过求损失函数的极值确定参数

• 损失函数：

• h(θ)为目标函数，而 J(θ)为损失函数（平方损失函数）

损失函数的梯度（即导数或偏导数）为

参数 θ的更新方式，即梯度下降算法为

• a即学习率，一般取0.1、0.01，学习率其取值决定学习过程的收敛速度

• 根据损失函数不同形式，梯度下降常见的有梯度下降法、随机梯度下降法、小批量梯度下降法、动态梯度下降

5.反向传播算法BP

   下篇文章再述