【BiLSTM||CNN】文本相似度分类网络搭建

上面这个网络仅仅考了各自的语义信息，并且融合方式不够科学。

 

 

看了很多论文后，加入了自己的想法，更新第二版网络结构

 

第三版网络，增加了BiLSTM语义融合网络 与 Depthwise 1*1输出操作

网络这样设计的目的：

1.通过matching pyramid做向量交叉

2.引入卷积 做自学习融合

3.引入BiLSTM语义上的融合

4.参数量较大，采用1*1depthwise 提高融合能力同时降低参数量

5.加了BN层以后，收敛太慢，时间成本较大，我这边配置性能有限，没有太多时间试错

----------这个网络目前val acc达到91%，kaggel目前排名第3 -----------------

 

通过三分类，可以达到89的VAL acc，但是还是不够高，想找个好工作，还是得拿点好名次的奖去证明自己呀。如何进一步提高，是要做的。

这个数据集 3个类别十分不均衡，20万个数据，13万的A类，6万的B类，1万的C类。

所以，有以下三种思路

 

1.借鉴图像的focal loss来设计loss

2.做两个二分类网络，先分 A和非A，在非A中再分B和C类，减小样本不均衡的影响

3.做数据增强，多层翻译

4.做NER TFIDF等做特征工程

后记：

之前一直感觉直接在网络中input特征工程会让效果大好

我直接input以后，效果不行，应该是需要选出更好的特征和合适的位置。我再多试试