单层lstm的伪孪生网络 计算 句子的相似度

基础版本实验：选用final hidden states, [h1, h2, |h1-h2|, h1.*h2]， 以1：2构造正负例， 参考dssm(原文是1：4)

single lstm 孪生网络

 

数据是4w的pair对

训练曲线如下图：

 

最终任务测试集上的准确率（和本任务中dssm的准确率做对比）， 如下图所示：

本任务lstm singe (正：负 = 1：2)	本任务lstm singe (正：负 = 1：4)	本任务lstm singe (正：负 = 1：10)	本任务lstm singe (正：负 = 1：30)	本任务Dssm(正：负 = 1：4)
top1ACC:0.811159	top1ACC:0.832618	top1ACC:0.793991	top1ACC:0.611588	top1ACC:0.802575

另外我们在本任务中的另一个测试集上也做了对比：

本任务lstm singe (正：负 = 1：4)	本任务Dssm(正：负 = 1：4)
top1ACC:0.629000	top1ACC:0.617667

• 结论：

1. Dssm正负例比例1：4应该是多次实验的结果，正负例比例过于不均衡，会减弱准确率；

 

• 说明：

1. 本任采用测试集均为项目中的真实数据标注测试集，具有实际说明效应。

 

• 改进计划:

模型为初始版本，仍然还在改进中：

1. loss function: margin loss

2. 负例构造

3. lstm结构

4. NN层