LSTM-DSSM句子相似度

用句子相似度计算话术与实际的相似度.

之前只知道使用的编解码器可以通过训练词编码器后实现句编码, 但想了想除了权重失衡和压缩损失外, 2gram太短也是个问题, 3gram又过度压缩效果不好.

15年有篇LSTM-DSSM的论文, 同样采用DSSM架构, 弥补了CNN-DSSM的卷积核距离限制, 将最后的全连接替换成LSTM, 而且对LSTM的遗忘门和输出门多加了C作为输入, 加强了词之间的语义联系. 但微软的sent2vec是以CNN-DSSM实现的.

seq2seq也可以做句子相似度计算, 本质是用seq2seq预测自己, 或者上下文, 然后取encoder部分encode两句话, 计算余弦相似度.

ps: 查询中还发现了个融合CNN和LSTM的句模型, 先用CNN提取特征, 获得feature maps, 再滑窗获得window feature sequence. 作者希望feature maps获得的多个map维度也是和句子时序相关, 所以将同时刻的维度拼接为feature sequence. 以这个sequence作为LSTM输入, 进行文本分类测试, 结果和bi-lstm效果只相差0.1%, 所以CNN对句子的特征提取确实提高了LSTM的输入数据质量.

你可能感兴趣的:(LSTM-DSSM句子相似度)