LSTM+CNN+ATTENTION(QA)

一、

LSTM+CNN+ATTENTION(QA)_第1张图片

四个模型

LSTM+CNN+ATTENTION(QA)_第2张图片
LSTM+CNN+ATTENTION(QA)_第3张图片
LSTM+CNN+ATTENTION(QA)_第4张图片

注意力:

LSTM+CNN+ATTENTION(QA)_第5张图片

实验

数据集:InsuranceQA
LSTM+CNN+ATTENTION(QA)_第6张图片

二、

LSTM+CNN+ATTENTION(QA)_第7张图片

LSTM+CNN+ATTENTION(QA)_第8张图片

三个变化:

1.LSTM只用输入们
2.提出对比五个比较函数(图右边5个)
3.最后一层加Cnn

实验

1 https://github.com/shuohangwang/SeqMatchSeq

LSTM+CNN+ATTENTION(QA)_第9张图片

三、

LSTM+CNN+ATTENTION(QA)_第10张图片
变化:
嵌入层用预训练语言模型代替(ELMo)
+ATTENTION
在这里插入图片描述

+聚类
LSTM+CNN+ATTENTION(QA)_第11张图片

+迁移学习
LSTM+CNN+ATTENTION(QA)_第12张图片

实验

LSTM+CNN+ATTENTION(QA)_第13张图片

你可能感兴趣的:(IR-QA,1024程序员节)