【深度学习】激活函数和损失函数

4.3 激活函数

作用：

当神经网络中上一层的输出直接作为下一层的输入时，每层之间的关系是线性关系，即相当于f(x)=x，此时神经网络的拟合能力较弱。为了使得神经网络有更好的拟合能力，在每一层网络之间加入了激活函数（非线性）来使得不同层网络之间的关系变为非线性，从而使网络有更好的拟合能力。

常用的激活函数有Sigmoid、tanh，ReLU、leaky ReLU等。除此以外还有线性激活函数如Linear。

激活函数的选取十分重要，不同的激活函数有不同的特点。选取不当可能会导致梯度变得非常小，就是通常所说的梯度消失问题。另外还存在一种相反的问题，就是梯度爆炸（不常见），当梯度值过大时，网络会变得非常不稳定。

---

4.3.1 Sigmoid

包：torch.nn.Sigmoid

计算公式：

函数图像：

特点：

• 函数的值在0到1之间
• 适合处理二分类问题
• 计算较为复杂，因为要处理指数问题
• 在深度神经网络中梯度反向传递时容易导致梯度消失（梯度爆炸爆炸发生的概率非常小）
• 不是zero-centered，只有正数输出，所以会导致zigzag现象

---

4.3.2 tanh

包:torch.nn.Tanh

计算公式：

函数图像：

特点：

• 函数的值在-1到1之间
• 除二分类问题外，在任何时候该函数处理问题的能力都优于sigmoid函数
• 有饱和区域，是软饱和，在大的正数和负数作为输入的时候，梯度就会趋向于零（梯度消失），使神经元更新速率下降

---

4.3.3 ReLU

包：torch.nn.ReLU(inplace=False)

函数：

函数图像：

特点：

• CNN中常用，对正数原样输出，负数直接置零。
• 在正数不饱和，在负数硬饱和。
• ReLU计算上比sigmoid或者tanh更省计算量，因为不用算幂，因而收敛较快。但是非zero-centered。
• 在负数区域容易出现梯度消失问题，在大的正数区域容易出现梯度爆炸问题。
• ReLU在负数区域被kill的现象叫做Dead ReLU Problem（神经元坏死现象），这样的情况下，有人通过初始化的时候用一个稍微大于零的数比如0.01来初始化神经元，从而使得ReLU更偏向于激活而不是死掉，但是这个方法是否有效有争议。
  • dead ReLU problem 最直观的结果就是，输入ReLU中的值如果存在负数，则最终经过ReLU之后变成0，极端情况下是输入ReLU的所有值全都是负数，则ReLU activated之后的结果均为0。
  • 当神经元中的大多数返回零输出时，梯度在反向传播期间无法流动，并且权重不会更新。最终，大部分网络变得不活跃，无法进一步学习。

---

4.3.4 LeakyReLU

包：torch.nn.LeakyReLU(negative_slope=0.01, inplace=False)

函数

或者

函数图像：

参数

• negative_slope ：控制负斜率的角度。默认值:1e-2
• inplace：可以选择就地执行操作。默认值:False

特点：

• 为了解决上述的dead ReLU现象。在小于0时选择一个数，让负数区域不在饱和死掉。
• 这里的斜率都是确定的，默认0.01。

---

4.3.5 PReLU

包：torch.nn.PReLU( num_parameters = 1 , init = 0.25 , device = None , dtype = None )

函数：

或者

函数图像：

参数：

• num_parameters（int）：要学习的a数量。尽管它以int作为输入，但只有两个值是合法的：1或输入时的通道数。默认值：1
• init（float）：a的初始值。默认值：0.25。

特点：

• 为了获得良好的性能，在学习a时不应使用重量衰减。
• 通道尺寸是输入的第二尺寸。当输入dims < 2时，则没有通道dim，通道数 = 1。

---

4.4 损失函数

用于度量神经网络的输出的预测值与实际值之间的差距的一种方式。

为卷积核的参数设置梯度，利用梯度下降可以对更新卷积核的参数提供一定的依据（反向传播）。

回归损失函数：

• 均方差（Mean Squared Error，MSE）
• 平均绝对误差（Mean Absolute Error Loss，MAE）

分类损失函数：

• 对数损失函数LogLoss
• 交叉熵损失函数CrossEntropyLoss

逻辑回归就是使用对数损失函数来进行二分类任务，

softmax回归是逻辑回归的推广，

softmax回归使用交叉熵损失函数来进行多分类任务。

---

4.4.1 L1Loss均绝对误差

包：torch.nn.L1Loss(size_average=None, reduce=None, reduction='mean')

函数：

两种计算的方式

即均值和求和（默认均值）。

函数图像

特点：（转载于https://www.cnblogs.com/wangguchangqing/p/12021638.html）

• MSE的函数曲线光滑、连续，处处可导，便于使用梯度下降算法，是一种常用的损失函数。 而且，随着误差的减小，梯度也在减小，这有利于收敛，即使使用固定的学习速率，也能较快的收敛到最小值。
• 当y和f(x)也就是真实值和预测值的差值大于1时，会放大误差；而当差值小于1时，则会缩小误差，这是*方运算决定的。MSE对于较大的误差（>1）给予较大的惩罚，较小的误差（<1）给予较小的惩罚。也就是说，对离群点比较敏感，受其影响较大。
• 如果样本中存在离群点，MSE会给离群点更高的权重，这就会牺牲其他正常点数据的预测效果，最终降低整体的模型性能。 如下图：
• 

# 输入，需要的输入类型是float类型
input = torch.tensor([1, 2, 3], dtype=float)
# 目标
target = torch.tensor([1, 2, 5], dtype=float)

# 损失函数，可选参数有两个：mean, sum
# mean：默认，求差后求和在除以个数
# sum：求差后求和
loss1 = L1Loss(reduction="mean")
loss2 = L1Loss(reduction="sum")
result1 = loss1(input, target)
result2 = loss2(input, target)
print(result1)  # tensor(0.6667, dtype=torch.float64) 说明：((1 - 1) + (2 - 2) + (5 - 3)) / 3 = 0.6667
print(result2)  # tensor(2., dtype=torch.float64) 说明：((1 - 1) + (2 - 2) + (5 - 3)) = 2.

---

4.4.2 MSELoss均方误差

包：torch.nn.MSELoss(size_average=None, reduce=None, reduction='mean')

函数：

两种计算方式：

函数图像：

特点：

• MAE曲线连续，但是在y−f(x)=0y−f(x)=0处不可导。而且 MAE 大部分情况下梯度都是相等的，这意味着即使对于小的损失值，其梯度也是大的。这不利于函数的收敛和模型的学习。但是，无论对于什么样的输入值，都有着稳定的梯度，不会导致梯度爆炸问题，具有较为稳健性的解。
• 相比于MSE，MAE有个优点就是，对于离群点不那么敏感。因为MAE计算的是误差y−f(x)的绝对值，对于任意大小的差值，其惩罚都是固定的。
• 针对上面带有离群点的数据，MAE的效果要好于MSE。
  

---

4.4.3 MSE和MAE的选择

• 从梯度的求解以及收敛上，MSE是由于MAE的。MSE处处可导，而且梯度值也是动态变化的，能够快速的收敛；而MAE在0点处不可导，且其梯度保持不变。对于很小的损失值其梯度也很大，在深度学习中，就需要使用变化的学习率，在损失值很小时降低学习率。
• 对离群（异常）值得处理上，MAE要明显好于MSE。
• 如果离群点（异常值）需要被检测出来，则可以选择MSE作为损失函数；如果离群点只是当做受损的数据处理，则可以选择MAE作为损失函数。

总之，MAE作为损失函数更稳定，并且对离群值不敏感，但是其导数不连续，求解效率低。另外，在深度学习中，收敛较慢。MSE导数求解速度高，但是其对离群值敏感，不过可以将离群值的导数设为0（导数值大于某个阈值）来避免这种情况。在某些情况下，上述两种损失函数也可能都不满足需求。

---

4.4.3 CrossEntropyLoss交叉熵

包：torch.nn.CrossEntropyLoss(weight=None, size_average=None, ignore_index=- 100, reduce=None, reduction='mean', label_smoothing=0.0)

函数：

两种计算方式：

该函数结合了nn.LogSoftmax()和nn.NLLLoss()函数
    1、Softmax后的数值都在0~1之间，所以ln之后值域是负无穷到0。
    2、然后将Softmax之后的结果取log，将乘法改成加法减少计算量，同时保障函数的单调性

代码示例：

import torch
import torchvision.datasets
from torch import nn
from torch.nn import L1Loss, Sequential, Conv2d, MaxPool2d, Flatten, Linear
from torch.utils.data import DataLoader


class MyNN(nn.Module):

    def __init__(self) -> None:
        super().__init__()
        self.sequential = Sequential(
            Conv2d(3, 32, 5, padding=2),
            MaxPool2d(2),
            Conv2d(32, 32, 5, padding=2),
            MaxPool2d(2),
            Conv2d(32, 64, 5, padding=2),
            MaxPool2d(2),
            Flatten(),
            Linear(1024, 64),
            Linear(64, 10)
        )

    def forward(self, x):
        x = self.sequential(x)
        return x


dataset = torchvision.datasets.CIFAR10("dataset", transform=torchvision.transforms.ToTensor())
dataLoader = DataLoader(dataset, batch_size=1)

demo_loss = MyNN()
# 交叉商
loss = nn.CrossEntropyLoss()
step = 0
for data in dataLoader:
    imgs, targets = data
    output = demo_loss(imgs)
    print(output)
    print(targets)
    # 计算实际输出和目标输出之间的差距
    result_loss = loss(output, targets)
    print(result_loss)

    # 反向传播，为更新数据提供一定的依据。会在这一步算出一个梯度
    result_loss.backward()

---

注：本博客只用于人笔记记录，内容来自网络整理