神经网络与深度学习笔记(二)

第二章 反向传播算法如何工作

如何计算代价函数的梯度?——反向传播
反向传播的核心:一个代价函数C关于任何权重w(或者偏置b)的偏导数的表达式。

2.1 热身:神经网络中使用矩阵快速计算输出的方法

这里写图片描述
神经网络与深度学习笔记(二)_第1张图片
神经网络与深度学习笔记(二)_第2张图片
神经网络与深度学习笔记(二)_第3张图片
神经网络与深度学习笔记(二)_第4张图片
这里写图片描述

2.2 关于代价函数的两个假设

第一个假设

神经网络与深度学习笔记(二)_第5张图片

第二个假设:代价函数可以写成神经网络输出的函数

神经网络与深度学习笔记(二)_第6张图片
神经网络与深度学习笔记(二)_第7张图片

2.3 Hadamard 乘积

    Hadamard乘积表示两个矩阵按元素求乘积。
如:
这里写图片描述

2.4 反向传播四个基本方程

神经网络与深度学习笔记(二)_第8张图片
神经网络与深度学习笔记(二)_第9张图片
神经网络与深度学习笔记(二)_第10张图片
神经网络与深度学习笔记(二)_第11张图片
神经网络与深度学习笔记(二)_第12张图片

你可能感兴趣的:(初学深度学习)