【Pytorch神经网络理论篇】 34 样本均衡+分类模型常见损失函数

1 样本均衡

当训练样本不均衡时,可以采用过采样、欠采样、数据增强等手段来避免过拟合。

1.1 使用权重采样类

Sampler类中有一个派生的权重采样类WeightedRandomSampler,能够在加载数据时,按照指定的概率进行随机顺序采样。

WeightedRandomSampler(samples_weight, samples_num)

1、weights:对应的是“样本”的权重而不是“类别的权重”。 也就是说:有一千个样本,weight的数值就有一千个,因此有 len(weight)= 样本数。
2、num_sampes:提取的样本数目,待选取的样本数目一般小于全部的样本数
3、replacement:用于指定是否可以重复选取某一个样本,默认为True,即允许在个epoch中重复选取某一个样本。如果设为False,则当某一类的样本被全部选完,但其样本数自仍未达到num_samples时,sampler将不会再从该类中选取本,此时可能导致weights参数失效。

1.2 WeightedRandomSampler图文解释

如下图,weight是一些tensor,代表每个位置的样本对应的权重,WeightedRandomSampler(weights, 6, True) ,表示按照weight给出的权重,生成六个索引,而且是重复取样。

【Pytorch神经网络理论篇】 34 样本均衡+分类模型常见损失函数_第1张图片

 从输出可以看出,位置 [1] = 10 由于权重较大,被采样的次数较多,位置[0]由于权重为0所以没有被采样到,其余位置权重低所以都仅仅被采样一次。

1.2.1 获得某个数据集的权重手动计算方法

weight = [ ] 里面每一项代表该样本种类占总样本的倒数。

例如: 数据集 animal = [ cat, cat, dog, dog, dog],cat有两个,dog有三个。

解:
        第一步:先计算每种动物的占比,
                cat_count = 2/5 = 0.4
                dog_count = 3/5 = 0.6

        第二步:再计算count的倒数,也就是占比的倒数,这个数值就是weight
                cat_weight = 1/count = 1/0.4 = 2.5
                dog_weight = 1/count = 1/0.6 = 1.67

        第三步:生成权重
                weight 列表就可以写作:weight = [2.5, 2.5, 1.67, 1.67, 1.67]

1.3 WeightedRandomSampler代码实战

1.3.1 把1000条数据,概率相等的采样,采200条数据:

from torch.utils.data import WeightedRandomSampler
 
weights=[1]*1000
 
bbb=list(WeightedRandomSampler(weights, 200, replacement=True))
 
print(bbb)

1.3.2 dataset类上的实现

weights =aaa=[1]*20000
sampler=WeightedRandomSampler(weights,num_samples=200,replacement=True)
 
_image_size = 32
_mean = [0.485, 0.456, 0.406]
_std = [0.229, 0.224, 0.225]
trans = transforms.Compose([
    transforms.RandomCrop(_image_size),
    # transforms.RandomHorizontalFlip(),
    # transforms.ColorJitter(.3, .3, .3),
    transforms.ToTensor(),
    # transforms.Normalize(_mean, _std),
])

if __name__ == '__main__':
 
    train_ds = DogsCatsDataset(r"D:\data\ocr\wanqu\archive", "train", transform=trans)
    train_dl = DataLoader(train_ds, batch_size=2,num_workers=1,sampler=sampler)
    # train_dl = DataLoader(train_ds, batch_size=20,num_workers=1,shuffle=True)
 
    for i, (data, target) in enumerate(train_dl):
        # print(i,target)
        if len(np.where(target.numpy() == 1)[0])>0:
            print('find 1')

1.3.3  Tip

在Dataloader类中,使用了采样器Sampler类就不能使用shume参数。

1.4 权重采样的影响

通过采样的方式进行样本均衡,只是一种辅助手段,它也会引入一些新的问题。在条件允许的情况下,还是推荐将所收集的样本尽量趋于均衡。

1.4.1 过采样

重复正比例数据,实际上没有为模型引入更多数据,过分强调正比例数据,会放大正比例噪声对模型的影响。

1.4.2 欠采样

丢弃大量数据,和过采样一样会存在过拟合的问题。

1.5 通过权重损失控制样本均衡

在多标签非互斥的分类任务(一个对象可以被预测出多种分类)中,还可以使用   BCEWithLogitsLoss函数,在计算损失时为每个类别分配不同的权重。

这种方式可以使模型对每个类别的预测能力达到均衡。例如,多分类的个数是6,则可以使用类似的代码指定每个分类的权重:

pos_weight = torch.ones( [6] )#为每个分类指定权重为1
criterion = torch.nn.BCEwithLogitsioss( posweight = pos_weight)

2 分类模型常用的损失函数

2.1 BCELoss

用于单标签二分类或者多标签二分类,即一个样本可以有多个分类,彼此不互斥。输出和目标的维度是(batch,C),batch是样本数量,C是类别数量。每个C值代表属于一类标签的概率。

2.2 BCEWthLogtsLoss

用于单标签二分类或者多标签二分类,它相当于Sigmoid+BCELoss,即对网络输出的结果先做一次Sigmoid将其值域变为[0,1],再对其与标签之间做BCELoss。

当网络最后一层使用nn.Sigmoid时,就用BCELoss。

当网络最后一层不使用nn.Sigmoid时,就用BCEWithLogitsLoss。

2.3 CrossEntropyLoss

用于多类别分类,输出和目标的维度是(batch,C),batch是样本数量,C是类别数量。每一个C之间是互斥的,相互关联的。

对于每一个batch的C个值,一起求每个C的softmax,所以每个batch的所有C个值之和是1,哪个值大,代表其属于哪一类。

若用于二分类,那输出和目标的维度是(batch,2)。

你可能感兴趣的:(#,深度学习理论篇,神经网络,计算机视觉,cnn,人工智能,深度学习)