搜狐2022实体情感识别Top1方案的bert4torch复现

背景

本人划水参加了一把，初赛nlp赛道30名+进了复赛就没继续做了（大赛要求学生参与），最近比赛结束后Top1大神分享了方案，想着自己来复现一波看看，主要思路是“类似Prompt+fgm+swa+模型融合+伪标签”。参考大神方案用bert4torch进行了复现（仅复现“Prompt+fgm+swa“），并在dev上跑了指标对比，具体的方案细节还请以原作者的方案介绍为准。

• 比赛链接：2022搜狐校园 情感分析 × 推荐排序 算法大赛
• Top1解决方案，初赛f1=0.7253, 复赛f1=0.8173

顺丰光头大：2022搜狐校园算法大赛 NLP赛道第一名方案分享152 赞同 · 41 评论文章

bert4torch复现项目​github.com/Tongjilibo/bert4torch/blob/master/examples/sentence_classfication/Sohu_2022_ABSA

复现指标

• 预训练模型使用xlnet
• 由于比赛结束无法提交，复现只使用线下dev作为对比
• dev为前2000，未使用方案中的后10%作为dev, dev指标略微有点不稳定

复现方案	方案	指标
Top1_github	前2000为dev, 不使用swa, 有warmup, 无label_smoothing, 无fgm, 梯度累积=3, 无rdrop	Epoch 5/10: f1=0.7697
Top1_bert4torch复现1	参数同上	Epoch 8/10: f1=0.7556
Top1_bert4torch复现2	参数同上+fgm+swa	Epoch 5/10: f1=0.7877

Epoch	Top1_github	Top1_bert4torch复现1	Top1_bert4torch复现2
1	0.728	0.7039	0.0274
2	0.7198	0.7327	0.7180
3	0.747	0.7531	0.7453
4	0.7625	0.7466	0.7594
5	0.7697	0.7464	0.7877
6	0.7638	0.7272	0.7726
7	0.7415	0.7471	0.7804
8	0.7593	0.7556	0.7829
9	0.7477	0.7455	0.7697
10	0.7466	0.7471	0.7620

bert4torch框架介绍

bert4torch是一个基于pytorch的训练框架，前期以效仿和实现bert4keras的主要功能为主，特点是尽量简洁轻量，提供丰富示例，有兴趣的小伙伴可以试用，欢迎star。

bert4torch项目​github.com/Tongjilibo/bert4torch