阶段1—神经网络和深度学习

经过一周的学习，我基本掌握了深层神经网络的搭建方法，以下是我的一点总结：

一、深度学习分以下6个基本步骤：

1.初始化参数W和b（参数的初始值必须随机；权重值W需要根据训练集数据大小去调整）

2.向前传播（除了最后一层用sigmod函数，前面都是用relu或其他更好的函数）

3.计算损失（这里就是套公式）

4.向后传播（从最后一层开始，一层一层向前面求导，得到每层的dW和db）

5.向后传播（根据每层的dW和db，用梯度下降法去更新参数W和b）

6.预测（将最后得到的参数代入第2步的向前传播函数，最终求出预测值Y_prediction）

二、神经网络搭建好后，非常关键的一步就是调参数，使得损失能更好地收敛。有几个参数是比较关键的：

1、学习率；

2、网络层数和各层节点；

3、W的初始值设置

通过调试可以发现，以上几个参数都是直接影响损失函数收敛的，那应该按照什么准则去调这些参数，我目前还没发现什么规律和原理，有待进一步的学习和研究探索。