吴恩达深度学习笔记(一)week4 深层神经网络

深层神经网络

1.逻辑回归,结构如下图左边。一个隐藏层的神经网络,结构下图右边:

 

神经网络的层数是这么定义的:从左到右,由0开始定义,比如上边右图,x 1 、 x 2 、 x 3 、

吴恩达深度学习笔记(一)week4 深层神经网络_第1张图片 

严格上来说逻辑回归也是一个一层的神经网络,而上边右图一个深得多的模型,浅与深仅仅是指一种程度。

有一个隐藏层的神经网络,就是一个两层神经网络。记住当我们算神经网络的层数时,我们不算输入层,我们只算隐藏层和输出层。

吴恩达深度学习笔记(一)week4 深层神经网络_第2张图片

 上图是一个四层的神经网络,有三个隐藏层。我们可以看到,第一层(即左边数过去第二层,因为输入层是第0层)有5个神经元数目,第二层5个,第三层3个。

我们用L表示层数,上图: L = 4 ,输入层的索引为“0”,第一个隐藏层 n^{\left [ 1 \right ]}= 5 表示有5个隐藏神经元,而输入层n^{0}=n_{x}=3

深层网络中的前向传播

对其中一个训练样本 x xx 如何应用前向传播,之后讨论向量化的版本。

第一层需要计算 z^{\left [ 1 \right ]}=w^{\left [ 1 \right ]}x+b^{\left [ 1 \right ]}a^{\left [ 1 \right ]}=g^{\left [ 1 \right ]}\left ( z^{\left [ 1 \right ]} \right )

往后每层变上标即可,通过迭代可得z^{\left [ l \right ]}=w^{\left [ l \right ]}a^{\left [ l-1 \right ]}+b^{\left [ l \right ]}a^{\left [ l \right ]}=g^{\left [ l\left ( z^{\left [ l \right ]} \right ) \right ]}

吴恩达深度学习笔记(一)week4 深层神经网络_第3张图片

核对矩阵的维数 

w的维度是(下一层的维数,前一层的维数)w^{\left [ l \right ]}:(n^{\left [ l \right ]}n^{\left [ l-1 \right ]}

b的维度是(下一层的维数,1)b^{\left [ l \right ]}:(n^{\left [ l \right ]},1)

dw和w的维度相同,db和b维度相同

且 w 和 b  向量化维度不变,但 z , a  以及 x  的维度会向量化后发生变化。

吴恩达深度学习笔记(一)week4 深层神经网络_第4张图片

 向量化后:Z ^{\left [ 1 \right ]}可以看成由每一个单独的Z ^{\left [ 1 \right ]}叠加而得到

m为训练集大小,所以z^{\left [ l \right ]}的维度是(n^{\left [ l \right ]},m)

 

 

 


 

你可能感兴趣的:(神经网络)