PyTorch——激活函数、损失函数

PyTorch——激活函数

  • 激活函数
  • Loss及其梯度
    • 全连接层
    • 交叉熵
    • 激活函数与GPU加速
    • 可视化

激活函数

  • torch.sigmoid:范围在[0,1],光滑可导,但在趋近0和1时容易出现梯度离散。
  • torch.tanh:范围在[-1,1]
  • torch.relu/F.relu:不可导,但计算简单常用
  • F.softmax

Loss及其梯度

PyTorch——激活函数、损失函数_第1张图片

MSE:
PyTorch——激活函数、损失函数_第2张图片
autograd.grad
PyTorch——激活函数、损失函数_第3张图片

loss.backward
PyTorch——激活函数、损失函数_第4张图片

Gradient API
PyTorch——激活函数、损失函数_第5张图片

F.softmax
PyTorch——激活函数、损失函数_第6张图片

全连接层

nn.layer
PyTorch——激活函数、损失函数_第7张图片
PyTorch——激活函数、损失函数_第8张图片

类方法:
step 1:
PyTorch——激活函数、损失函数_第9张图片

step 2 :
PyTorch——激活函数、损失函数_第10张图片

step 3:
PyTorch——激活函数、损失函数_第11张图片
nn.ReLU VS F.relu()

nn.ReLU:class-style API 需要类实例化后使用,参数w和b由内部管理,不能私自访问,.parameters可以访问。
F.relu():function-style API 自己管理参数和运算过程。
PyTorch——激活函数、损失函数_第12张图片

交叉熵

PyTorch——激活函数、损失函数_第13张图片
PyTorch——激活函数、损失函数_第14张图片

激活函数与GPU加速

PyTorch——激活函数、损失函数_第15张图片
PyTorch——激活函数、损失函数_第16张图片

PyTorch——激活函数、损失函数_第17张图片
PyTorch——激活函数、损失函数_第18张图片
PyTorch——激活函数、损失函数_第19张图片
GPU加速
PyTorch——激活函数、损失函数_第20张图片
Crossentropy:softmax,log,nn-loss

可视化

  • pip install visdom
  • run server damon
    PyTorch——激活函数、损失函数_第21张图片

单线:
PyTorch——激活函数、损失函数_第22张图片
PyTorch——激活函数、损失函数_第23张图片

多线:
PyTorch——激活函数、损失函数_第24张图片
PyTorch——激活函数、损失函数_第25张图片

visual X:
PyTorch——激活函数、损失函数_第26张图片
PyTorch——激活函数、损失函数_第27张图片

你可能感兴趣的:(PyTorch基础)