Pytorch 05天——感知机、链式法则、反向传播算法、交叉熵

一、感知机

单层感知机
在这里插入图片描述
Pytorch 05天——感知机、链式法则、反向传播算法、交叉熵_第1张图片
在这里插入图片描述
Pytorch 05天——感知机、链式法则、反向传播算法、交叉熵_第2张图片
Pytorch 05天——感知机、链式法则、反向传播算法、交叉熵_第3张图片
Pytorch 05天——感知机、链式法则、反向传播算法、交叉熵_第4张图片
多层感知机
Pytorch 05天——感知机、链式法则、反向传播算法、交叉熵_第5张图片
Pytorch 05天——感知机、链式法则、反向传播算法、交叉熵_第6张图片
Pytorch 05天——感知机、链式法则、反向传播算法、交叉熵_第7张图片
Pytorch 05天——感知机、链式法则、反向传播算法、交叉熵_第8张图片
链式法则
Pytorch 05天——感知机、链式法则、反向传播算法、交叉熵_第9张图片
Pytorch 05天——感知机、链式法则、反向传播算法、交叉熵_第10张图片
Pytorch 05天——感知机、链式法则、反向传播算法、交叉熵_第11张图片
链式法则的验证
Pytorch 05天——感知机、链式法则、反向传播算法、交叉熵_第12张图片
反向传播算法

一.MLP反向传播
多层感知机反向传播
Pytorch 05天——感知机、链式法则、反向传播算法、交叉熵_第13张图片
Pytorch 05天——感知机、链式法则、反向传播算法、交叉熵_第14张图片
Pytorch 05天——感知机、链式法则、反向传播算法、交叉熵_第15张图片Pytorch 05天——感知机、链式法则、反向传播算法、交叉熵_第16张图片
Pytorch 05天——感知机、链式法则、反向传播算法、交叉熵_第17张图片Pytorch 05天——感知机、链式法则、反向传播算法、交叉熵_第18张图片
Pytorch 05天——感知机、链式法则、反向传播算法、交叉熵_第19张图片
Pytorch 05天——感知机、链式法则、反向传播算法、交叉熵_第20张图片
Pytorch 05天——感知机、链式法则、反向传播算法、交叉熵_第21张图片
Pytorch 05天——感知机、链式法则、反向传播算法、交叉熵_第22张图片
Pytorch 05天——感知机、链式法则、反向传播算法、交叉熵_第23张图片
交叉熵

熵(Entropy)
在这里插入图片描述
Pytorch 05天——感知机、链式法则、反向传播算法、交叉熵_第24张图片
交叉熵(Cross Entropy)
Pytorch 05天——感知机、链式法则、反向传播算法、交叉熵_第25张图片
Pytorch 05天——感知机、链式法则、反向传播算法、交叉熵_第26张图片
二分
Pytorch 05天——感知机、链式法则、反向传播算法、交叉熵_第27张图片
对于分类问题为什么不用MSE
1、sigmoid+MSE:gradient vanish(梯度消失)
converge slower(收敛较慢)
Pytorch 05天——感知机、链式法则、反向传播算法、交叉熵_第28张图片
cross entropy = softmax + log + nll_loss
使用cross entropy时要用logits
Pytorch 05天——感知机、链式法则、反向传播算法、交叉熵_第29张图片
借鉴
pytorch学习笔记5–pytorch基本运算

你可能感兴趣的:(pytorch)