pytorch学习笔记(六)--典型函数(普通函数、激活函数、损失函数)梯度

分类

主要有导数(标量)、偏微分(特殊的导数,标量)、梯度(由偏微分组成的向量)三类

极小值求解

在这里插入图片描述
影响因素:

  • 初始状态

  • 学习率,影响收敛速度和精度

  • 动量,逃离局部最小值

常见函数的梯度

pytorch学习笔记(六)--典型函数(普通函数、激活函数、损失函数)梯度_第1张图片

若f(x)=g(x)/h(x)
则f'(x)=[g'(x)h(x)-h'(x)g(x)]/[h(x)]^2

激活函数及其梯度

** sigmoid/logistic**
pytorch学习笔记(六)--典型函数(普通函数、激活函数、损失函数)梯度_第2张图片
Sigmoid函数的梯度求解
pytorch学习笔记(六)--典型函数(普通函数、激活函数、损失函数)梯度_第3张图片
单层感知器损失函数的梯度
pytorch学习笔记(六)--典型函数(普通函数、激活函数、损失函数)梯度_第4张图片
对应的梯度求解步骤如下:
pytorch学习笔记(六)--典型函数(普通函数、激活函数、损失函数)梯度_第5张图片
pytorch学习笔记(六)--典型函数(普通函数、激活函数、损失函数)梯度_第6张图片
Tanh函数
pytorch学习笔记(六)--典型函数(普通函数、激活函数、损失函数)梯度_第7张图片
Tanh函数的梯度推导
pytorch学习笔记(六)--典型函数(普通函数、激活函数、损失函数)梯度_第8张图片
多层感知器的损失函数梯度求解
pytorch学习笔记(六)--典型函数(普通函数、激活函数、损失函数)梯度_第9张图片
多层感知器的损失函数求解步骤:
pytorch学习笔记(六)--典型函数(普通函数、激活函数、损失函数)梯度_第10张图片

在这里插入图片描述

ReLU函数
pytorch学习笔记(六)--典型函数(普通函数、激活函数、损失函数)梯度_第11张图片

损失函数的梯度

MSE均方损失函数
pytorch学习笔记(六)--典型函数(普通函数、激活函数、损失函数)梯度_第12张图片
MSE是L2范数的平方
mse = torch.norm(y - pred, 2).pow(2)
梯度求解
pytorch学习笔记(六)--典型函数(普通函数、激活函数、损失函数)梯度_第13张图片
SoftMax函数
pytorch学习笔记(六)--典型函数(普通函数、激活函数、损失函数)梯度_第14张图片
梯度求解
当 i = j时:
pytorch学习笔记(六)--典型函数(普通函数、激活函数、损失函数)梯度_第15张图片
当 i ≠ j 时
pytorch学习笔记(六)--典型函数(普通函数、激活函数、损失函数)梯度_第16张图片

你可能感兴趣的:(pytorch)