深度学习-第四周

---

title: 深度学习-第四周
date: 2023-01-17 09:47:00
tags:
categories:
copyright:

【4.1 深层神经网络】

一些符号约定：

• L代表神经网络层数
• l代表每层上的单元数，例如：n^[1]=5, n^[4] = n^[L]=1, n^[0]=n_x=3
• a^[l]是第l激活函数，a^[l]=g^[l](z^[l])
• W^[l]来表示在a^[l]中计算z^[l]的权重
• 输入特征用x表示，即x=a^[0], 同时$y$=a^[L]

---

【4.2 前向和反向传播】

前向传播：

• Z^[l]= W^[l] * A^[l-1] + b^[l] (l从一开始)
• A^[l] = g^[l](Z^[l]),其中需要用X来初始化A^[0],即：X = A^[0]

反向传播：

• dZ^[l] = dA^[l] * g^[l](Z^[l])
• dW^[l]=1/m * dZ^[l] * A^[l-1]T
• db^[l] = 1/m * np.sum(dZ^[l], axis = 1, keepdims = True)
• dA^[l] = W^[l]T * dZ^[l]

其中反向传播的用dA^[L]初始化:

---

【4.3 深层网络的前向传播】

步骤(针对整个训练集的向量化表示）：

• Z^[l]=W^[l] A^[l-1]+b^[l]
• A^[l]=g^[l](Z^[l])

---

【4.4 核对矩阵维数】

通过明确各个矩阵的维度(在写代码时，一定要明确所有矩阵维数是前后一致的)，来排除一些bug的来源。

• dW^[l]和W^[l]的维数为(n^[l],n^[l-1])

• b^[l]和db^[l]的维数为(n^[l],1)

• dZ^[l],dA^[l],Z^[l]和A^[l]的维数为(n^[l],m)

---

【4.5 搭建深层神经网络块】

对于每一层：

==正向：输入a^[l-1]^计算出a^[l]^,再缓存z^[l]^,w^[l]^,b^[l]^==

反向：输入da^[l]计算出da^[l-1]，dw^[l],db^[l]，dz^[l]

在整个的训练集：

最后在每一层更新w和b（绿色文字）。

---

【4.6 参数和超参数】

参数：W，b

而学习率$\alpha$,隐藏层L，单元数l，激活函数等控制参数W和b的值，这些东西称作超参数。

而超参数的值是会不停改变（即使是已经调整好的超参数也会因为环境的不同，cpu的不同等而改变），所以需要不停的调整达到最佳效果。