深度学习笔记-吴恩达

深度学习-吴恩达

---

前言

随着人工智能的不断发展，深度学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了深度学习的基础内容。

---

一、神经网络

1.随机初始化

问题： 为何初始化参数（w和b）不能为0？
假设输入为两个特征，网络存在两个隐藏单元。参数为0 ，此时两个隐藏单元始终都在做相同的计算，两个隐藏单元对输出的影响也一样大；当在反向传播时，对两个激活函数求导时结果也是相同的。所以在这种情况下，多个隐藏单元就显得无意义。
正确做法：

2.深层神经网络的前向传播

3.核对矩阵的维数

维度总结：

其中，小写针对单个样本的特征，大写针对所有样本的特征。

4.为什么使用深层表示

先从边缘特征入手进行探测，其次对脸的五官进行探测，最后将五官组合成脸部进行探测。在神经网络的前几层一般学习一些较低层次的简单特征，后几层再讲简单的特征结合起来，去探测更加复杂的内容。

5.搭建深层神经网络块

如上图所示，上半部分为前向传播的过程，下半部分为反向传播的过程。在前向传播中，a[l-1]作为输入，在参数w[l]和b[l]的作用下，输出a[l]并且缓存z[l]；在反向传播过程中，da[l]作为输入，在参数w[l]和b[l]的作用下，输出da[l-1]并且缓存dw[l]和db[l]。

如上图所示，为神经网络正向传播和反向传播的具体流程图，也为程序代码编写的逻辑图。

6. 前向传播与反向传播

反向传播公式（对代价函数求导，具体求导过程省略，此处直接给出结果）：

举例总结图：

7. 参数与超参数

超参数：例如学习率、隐藏层数、隐藏单元数、激活函数、momentum和mini batch等都可以称之为超参数，因为这些参数都最终决定着W和b。