Pytorch基础（六）——激活函数

一、概念

激活函数顾名思义，就是一种可以给神经网络注入灵魂的一种方法，也可以称之为激活层。其计算就是将线性的函数转变为非线性函数的过程，只有这样，我们制作的深层神经网络才能无限逼近真实值。
自神经网络发展到目前为止，已经出现了很多种激活函数。应用多的包括ReLU,Sigmoid,Tanh,Softmax等，都有各自的优缺点，Sigmoid和Tanh都存在梯度爆炸和梯度消失的问题，RELU的收敛速度快，但是存在Dead ReLU Problem，我们可以再pytorch官网去查看详细的介绍，这里就不做过多介绍，只用简单的例子做下demo。

Softmax的公式：

二、Pytorch示例

import torch
import torchvision.datasets
from torch import nn
from torch.nn import ReLU, Sigmoid, Tanh, Softmax
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

dataset = torchvision.datasets.CIFAR10("../dataset", train=False, download=True,
                                       transform=torchvision.transforms.ToTensor())
dataloader = DataLoader(dataset, batch_size=64)


class Wzh(nn.Module):
    def __init__(self):
        super(Wzh, self).__init__()
        self.relu1 = ReLU()
        self.sigmoid1 = Sigmoid()
        self.tanh1 = Tanh()
        self.Softmax1 = Softmax()

    def forward(self, input):
        output = self.Softmax1(input)
        return output


wzh = Wzh()
w = SummaryWriter("Softmax")
i = 0
for data in dataloader:
    imgs, targets = data
    output1 = wzh(imgs)
    w.add_images("input", imgs, i)
    w.add_images("output", output1, i)
    i = i + 1


w.close()

运行上面的小demo，我们可以分别得到不同的激活函数的图像效果。
原图：

Relu: 目前使用最多的激活函数，可以看出来，和原图没有变化。

sigmond: 由于输出在[0,1] 之间，所以图像整体会变暗。

tanh: 会稍微变暗。

softmax: 经过激活函数变换，只能看出轮廓。