深度学习入门python考试速成:神经网络之前向传播

矩阵乘法

A B =C\\ A:M*N\\ B:N*P\\ C:M*P

深度学习入门python考试速成:神经网络之前向传播_第1张图片

神经网络的内积

深度学习入门python考试速成:神经网络之前向传播_第2张图片

\begin{matrix} (x_{1}& x_{2}) & \begin{pmatrix} 1 & 3 & 5\\ 2& 4 & 6 \end{pmatrix} \end{matrix}=\begin{pmatrix} y_{1} & y_{2} & y_{3} \end{pmatrix}\\ \begin{matrix} 1*2 &&&& 2*3 &&&&&1*3 \end{matrix}

XW=Y

W=\begin{pmatrix} 1 & 3&5 \\ 2& 4& 6 \end{pmatrix}

深度学习入门python考试速成:神经网络之前向传播_第3张图片

用数学式表示 a_{1}^{(1)}

使用矩阵的乘法运算

深度学习入门python考试速成:神经网络之前向传播_第4张图片

深度学习入门python考试速成:神经网络之前向传播_第5张图片

Z^{(1)}=h(A^{(1)})\\ Z^{(1)}=\begin{pmatrix} z_{1}^{(1)} &z_{2}^{(1)} & z_{3}^{(1)} \end{pmatrix}

其它层计算类似,图如下

深度学习入门python考试速成:神经网络之前向传播_第6张图片

深度学习入门python考试速成:神经网络之前向传播_第7张图片

输出层所用的激活函数,要根据求解问题的性质决定。一般地,回 归问题可以使用恒等函数,二元分类问题可以使用sigmoid函数, 多元分类问题可以使用softmax函数。

你可能感兴趣的:(深度学习,python,神经网络)