传统方法:textcnn文本分类中超参数对分类器的影响

引言

众所周知,文本分类是自然语言处理中最常见的任务之一。而TEXTCNN是每一个NLPer入门学习,deeplearning在自然语言处理中应用的首选。相对现在火热得BERT而言,TEXTCNN得结构相对来说更加简单,但其容易被理解,模型更小,训练更快,更易灵活调整得特点,仍然被广泛应用于工业界。现就textCNN使用中的超参数,以及调整超参数的结果做相应的总结。

实验

这里使用的TEXTCNN模型可以参考:中文文本分类项目
使用的数据量:85万+(由于是用专有领域的数据,具有隐私性,所以不便于公布)
**分类的类别:**1497类(样本间的数据分布表现得极为不均衡)
由于存在样本类别不均衡的情况,因此这里采用了Focal loss来作为损失函数来知道模型的训练,不了解FOCAL LOSS的小伙伴可以参考:何凯明老师的focal loss。简要描述其工作为:focal loss是以预测类别的置信度的大小来约定item奖惩程度的一种方式。

多分类的FOCAL LOSS代码如下:

class MultiCEFocalLoss(torch.nn.Module):
    def __init__(self, Config, gamma=2, alpha=None, reduction='mean'):
        super(MultiCEFocalLoss, self).__init__()
        if alpha is None:
            self.alpha = Variable(torch.ones(Config.num_classes, 1))
        else:
            self.alpha = alpha
        self.gamma = gamma
        self.reduction = reduction
        self.class_num = Config.num_classes


    def forward(self, predict, target):
        pt = F.softmax(predict, dim=1) # softmmax获取预测概率
        class_mask = F.one_hot(target, self.class_num) #获取target的one hot编码
        ids = target.view(-1, 1)
        alpha = self.alpha[ids.data.view(-1)].cuda() # 注意,这里的alpha是给定的一个list(tensor
#),里面的元素分别是每一个类的权重因子
        probs = (pt * class_mask).sum(1).view(-1, 1) # 利用onehot作为mask,提取对应的pt
        log_p = probs.log()
# 同样,原始ce上增加一个动态权重衰减因子
        loss = -alpha * (torch.pow((1 - probs), self.gamma)) * log_p

        if self.reduction == 'mean':
            loss = loss.mean()
        elif self.reduction == 'sum':
            loss = loss.sum()
        return loss

实验涉及到超参数如下:

drop out batch_size learn rate pad_size embedding freeze epoch
丢弃神经单元的比例 训练时的批大小 学习率 句子的最大填充长度 训练时是否冻结初始向量 训练迭代次数

实验结果于结论

为了验证每个超参数对实验结果的影响,这里通过贪心算法的思想+控制变量法来实现:

base实现的超参数设计如下(acc=70.09%):

drop out batch_size learn rate pad_size embedding freeze epoch
0.2 128 1e-4 118 true 50

对比实验一(acc=70.69%):

drop out batch_size learn rate pad_size embedding freeze epoch
0.5 128 1e-4 118 true 50

结论: 适当的增加drop_out值有助于提升模型效果。

对比实验二:
以实验一的超参数为基准对lr进行调整。

drop out batch_size learn rate pad_size embedding freeze epoch
0.5 128 1e-3 118 true 50

以上超参数的到的结果:acc=63.13%

drop out batch_size learn rate pad_size embedding freeze epoch
0.5 128 1e-5 118 true 50

以上超参数的到的结果:acc=69.79%

drop out batch_size learn rate pad_size embedding freeze epoch
0.5 128 5e-5 118 true 50

以上超参数的到的结果:acc=70.81%

观察可知,lr过大,模型往往很难找到最优点,lr过小模型往往收敛困难。建议: 用少量数据进行多次实验,先现定出lr的最优的取值空间,再取适当的值。

对比实验三:
以实验二的超参数的最优结果为基准对pad_size进行调整。

drop out batch_size learn rate pad_size embedding freeze epoch
0.5 128 5e-5 64 true 50

以上超参数的到的结果:acc=71.16%
结论: 合理的pad_size可以保留更多有用信息,pad_size过大会填充大量无用信息,pad_size过小会丢失重要信息。这个需要根据实验的语料进行合理的统计和调整。

对比实验四:
以实验三的超参数的最优结果为基准对embedding_freeze进行调整。

drop out batch_size learn rate pad_size embedding freeze epoch
0.5 128 5e-5 64 flase 50

以上超参数的到的结果:acc=72.21%

结论: 在训练过程中开放预训练词向量的更新,可以有助于提升模型的表达能力。可能你会问,既然如此,那为何不直接为每个词随机生成一个词向量,而言调用预训练好的词向量模型呢,那是因为,预训练好的词向量模型可以有效帮助分类器前期快速收敛。当然如果你的资源特别丰富,又有足够多的时间,也时没有问题的,两种方式都可以,最终都会达到差不多的效果。

你可能感兴趣的:(分类,深度学习,神经网络)