[机器学习入门] 李宏毅机器学习笔记-8(Backpropagation;反向传播算法)

[机器学习入门] 李宏毅机器学习笔记-8(Backpropagation;反向传播算法)

PDF VIDEO

当我们要用gradient descent来train一个neural network,要怎么做?

Gradient Descent

[机器学习入门] 李宏毅机器学习笔记-8(Backpropagation;反向传播算法)_第1张图片
这里写图片描述

backpropagation就是Gradient Descent。


Chain Rule(连锁法)

[机器学习入门] 李宏毅机器学习笔记-8(Backpropagation;反向传播算法)_第2张图片
这里写图片描述

Backpropagation主要用到了Chain Rule


Backpropagation

[机器学习入门] 李宏毅机器学习笔记-8(Backpropagation;反向传播算法)_第3张图片
这里写图片描述
[机器学习入门] 李宏毅机器学习笔记-8(Backpropagation;反向传播算法)_第4张图片
这里写图片描述

Forward pass

[机器学习入门] 李宏毅机器学习笔记-8(Backpropagation;反向传播算法)_第5张图片
这里写图片描述
[机器学习入门] 李宏毅机器学习笔记-8(Backpropagation;反向传播算法)_第6张图片
这里写图片描述

Backward pass

[机器学习入门] 李宏毅机器学习笔记-8(Backpropagation;反向传播算法)_第7张图片
这里写图片描述
[机器学习入门] 李宏毅机器学习笔记-8(Backpropagation;反向传播算法)_第8张图片
这里写图片描述
[机器学习入门] 李宏毅机器学习笔记-8(Backpropagation;反向传播算法)_第9张图片
这里写图片描述
[机器学习入门] 李宏毅机器学习笔记-8(Backpropagation;反向传播算法)_第10张图片
这里写图片描述
[机器学习入门] 李宏毅机器学习笔记-8(Backpropagation;反向传播算法)_第11张图片
这里写图片描述
[机器学习入门] 李宏毅机器学习笔记-8(Backpropagation;反向传播算法)_第12张图片
这里写图片描述

Summary

[机器学习入门] 李宏毅机器学习笔记-8(Backpropagation;反向传播算法)_第13张图片
这里写图片描述

你可能感兴趣的:([机器学习入门] 李宏毅机器学习笔记-8(Backpropagation;反向传播算法))