网易云课堂吴恩达Andrew Ng深度学习笔记(四)

01.神经网络和深度学习

第四周   深层神经网络

所谓深层神经网络,字面上对应于浅层神经网络,即具有2层及以上的隐藏层。

网易云课堂吴恩达Andrew Ng深度学习笔记(四)_第1张图片

其正向传播过程一样,z[l] = w[l]a[l-1] + b[l], a[l] = g[l](z[l])

小技巧,用维度来检查计算过程,n是每一层的神经元个数。导数的维度不变。

网易云课堂吴恩达Andrew Ng深度学习笔记(四)_第2张图片

如果只考虑单个数据,z和a的维度如下

对应上面的正向传播公式,可用维度检查[nl,1] = [nl,nl-1] * [nl-1,1] + [nl,1]

如果向量化后,把m个数据一次计算,Z和A维度如下


理论,深度网络其中深度的意义

深度代表抽象过程,以图像识别为例,逐层递进,从边界到局部特征(眼睛,鼻子)到面部组合。

网易云课堂吴恩达Andrew Ng深度学习笔记(四)_第3张图片

又比如语言识别,从音素到音节到单词到语句。

从另一个角度出发,深层网络可以降低复杂度,不然需要更多的隐藏单元参与运算才能达到相同效果。

深层神经网络的正向与逆向传播,整体来说和2层神经网络的思路一样,只是递推过程增加了次数。

网易云课堂吴恩达Andrew Ng深度学习笔记(四)_第4张图片

第一行先给出a[0],即输入x,加上各层的w,b,逐个计算a[l]。保存z[l]

网易云课堂吴恩达Andrew Ng深度学习笔记(四)_第5张图片

向量化后,公式如下

网易云课堂吴恩达Andrew Ng深度学习笔记(四)_第6张图片

第二行从da[l]开始反向计算逐层计算导数,得到dw,db。更新w,b参数。

网易云课堂吴恩达Andrew Ng深度学习笔记(四)_第7张图片

向量化后,公式为

网易云课堂吴恩达Andrew Ng深度学习笔记(四)_第8张图片

da[l]是按照loss函数求导计算出来。

在最后一层为sigmoid的情况下,

网易云课堂吴恩达Andrew Ng深度学习笔记(四)_第9张图片

超参数,hyperparameter

区别与神经网络中的parameter: w, b这两个直接影响算法计算的,还有其他会影响效果的参数称为超参数。

超参数对算法的影响也很重要,比如更新参数的学习率、梯度学习的循环次数、隐藏层的个数,神经元个数、激活函数的选择等等。实际上超参数会影响参数的计算,故称为“超”参数。

超参数的设定是一个经验过程,需要在一次次的试验中才能找到适合特点情况下的“最优”参数。

没有哪一种超参数可以适用所有情况,一切都是数据说话。比如loss函数的变化情况。

深度学习最早的说法神经网络,将其与大脑的进行类比。部分原因可能是基于下图,

网易云课堂吴恩达Andrew Ng深度学习笔记(四)_第10张图片

输入到输出的变化,但实际上大脑对于人类还有太多太多的未知。

两者一个是数学计算公式,一个是生物电刺激传递。其实是很难进行比较的。






你可能感兴趣的:(深度学习,深度学习,神经网络,吴恩达)