pytorch基础知识十【激活函数、损失函数及其梯度】

激活函数、损失函数及其梯度

  • 1. 激活函数
  • 2. 损失函数loss

1. 激活函数

【1】激活函数简介
pytorch基础知识十【激活函数、损失函数及其梯度】_第1张图片
pytorch基础知识十【激活函数、损失函数及其梯度】_第2张图片
【2】sigmoid函数
pytorch基础知识十【激活函数、损失函数及其梯度】_第3张图片
pytorch基础知识十【激活函数、损失函数及其梯度】_第4张图片
pytorch基础知识十【激活函数、损失函数及其梯度】_第5张图片
【3】tanh函数
pytorch基础知识十【激活函数、损失函数及其梯度】_第6张图片
pytorch基础知识十【激活函数、损失函数及其梯度】_第7张图片
pytorch基础知识十【激活函数、损失函数及其梯度】_第8张图片
【3】RELU函数
pytorch基础知识十【激活函数、损失函数及其梯度】_第9张图片
pytorch基础知识十【激活函数、损失函数及其梯度】_第10张图片

2. 损失函数loss

pytorch基础知识十【激活函数、损失函数及其梯度】_第11张图片
pytorch基础知识十【激活函数、损失函数及其梯度】_第12张图片
pytorch基础知识十【激活函数、损失函数及其梯度】_第13张图片
autograd.grad
pytorch基础知识十【激活函数、损失函数及其梯度】_第14张图片
loss.backward

pytorch基础知识十【激活函数、损失函数及其梯度】_第15张图片
pytorch基础知识十【激活函数、损失函数及其梯度】_第16张图片
pytorch基础知识十【激活函数、损失函数及其梯度】_第17张图片
pytorch基础知识十【激活函数、损失函数及其梯度】_第18张图片
pytorch基础知识十【激活函数、损失函数及其梯度】_第19张图片
pytorch基础知识十【激活函数、损失函数及其梯度】_第20张图片
F.softmax
pytorch基础知识十【激活函数、损失函数及其梯度】_第21张图片

你可能感兴趣的:(pytorch,pytorch,人工智能,python)