ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成

诸神缄默不语-个人CSDN博文目录

录播视频地址:AIS 2022丨ACL-IJCAI-SIGIR顶级会议论文报告会回放视频公开啦
智源官网活动主页,有详细议程的介绍:ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)

本文关注5月14日的对话和生成部分。主要内容是截图slides,并附注一些讲解内容。比我之前写cs224w和李宏毅的笔记会简略很多,在图中不言自明的内容我就不另附介绍了。

文章目录

  • 1. 前沿趋势报告2:AIS2022对话与生成研究概述
    • AIS 2022
    • ACL 2022
    • IJCAI 2022
    • SIGIR 2022
  • 2. Session 3:Dialog and Generation(对话和生成)
    • 1. AdaLoGN
    • 2. 结合任务对话和开放域对话的语料集
      • 语料集
      • The PLATO-MT Model with Prompt-based Mechanism
      • DuClarifyDial as a New Benchmark
    • 3. 问题生成
    • 4. 预训练模型里的隐变量
    • 5. 检索式对话
    • 6. 线上陪伴型机器人、情感对话
      • 6.1 MISC
      • 6.2 C 3 K G C^3KG C3KG
      • 6.3 HICR
    • 7. COSPLAY
      • 7.1 背景
      • 7.2 动机
      • 7.3 模型
      • 7.4 实验与分析
    • 8. 中立语句演示原因

1. 前沿趋势报告2:AIS2022对话与生成研究概述

哈尔滨工业大学张伟男
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第1张图片
选择了一些代表性文章

AIS 2022

ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第2张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第3张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第4张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第5张图片

ACL 2022

ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第6张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第7张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第8张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第9张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第10张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第11张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第12张图片
state tracking(domain的slot)
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第13张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第14张图片
串联为pipeline
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第15张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第16张图片

IJCAI 2022

ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第17张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第18张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第19张图片

SIGIR 2022

ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第20张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第21张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第22张图片
当前会话、用户历史信息、相似用户
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第23张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第24张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第25张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第26张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第27张图片

2. Session 3:Dialog and Generation(对话和生成)

1. AdaLoGN

南京大学厉肖
在这里插入图片描述
在这里插入图片描述ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第28张图片
蕴涵关系
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第29张图片
由已知关系推到出其他关系的过程→对图上结构的扩展
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第30张图片
四选一
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第31张图片
初始构建图
句法规则(否定,如动词互为反义词)
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第32张图片
神经+符号推理
roberta→token平均值
图扩充
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第33张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第34张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第35张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第36张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第37张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第38张图片在这里插入图片描述

2. 结合任务对话和开放域对话的语料集

百度徐俊
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第39张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第40张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第41张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第42张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第43张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第44张图片
黄色部分:知识型对话
问答对话
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第45张图片

语料集

ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第46张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第47张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第48张图片

The PLATO-MT Model with Prompt-based Mechanism

ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第49张图片

DuClarifyDial as a New Benchmark

ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第50张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第51张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第52张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第53张图片

3. 问题生成

复旦大学
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第54张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第55张图片
彩色是要求的答案,模型需要学会提问

本文针对multi-hop问题生成:
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第56张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第57张图片
关系图
实体能够保证问题深度(美国总统妻子是什么职业)
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第58张图片
当前实体是否必须出现在问题中(flag)
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第59张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第60张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第61张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第62张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第63张图片

4. 预训练模型里的隐变量

复旦大学陈伟
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第64张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第65张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第66张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第67张图片在这里插入图片描述
未来预测策略:可以让解码器有更好的规划能力
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第68张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第69张图片
KL loss:假设原来是正态分布,最小化分布差值
free bits:KL loss达到一定阈值后才开始优化
BOW loss:隐变量直接非自回归地预测词汇,希望隐变量能够包含response信息
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第70张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第71张图片
先在reddit-short上用比较大的batch size做预训练,再在reddit-long上用比较小的batch size做预训练
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第72张图片
同时增加相关性BLEU和多样性distinct(一般不能同时)
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第73张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第74张图片

5. 检索式对话

复旦大学陈伟
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第75张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第76张图片本文聚焦在第一阶段,有大量response,抽取
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第77张图片
检索效率
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第78张图片在这里插入图片描述ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第79张图片
正例:有相同response
对比损失
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第80张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第81张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第82张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第83张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第84张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第85张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第86张图片

6. 线上陪伴型机器人、情感对话

小米李嫣然

6.1 MISC

ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第87张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第88张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第89张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第90张图片
应该指的是2021年清华的这篇:Towards Emotional Support Dialog Systems
询问情况,推理背景信息,做疏导
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第91张图片
常识知识库
comet模型:常识生成模型,输入situation,推理出情绪状态、需求
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第92张图片
knowledge-enhanced context representation
选择策略的分布,和矩阵相乘,得到mixed stragy representation
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第93张图片
上述论文是这篇
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第94张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第95张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第96张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第97张图片
长句子的混合策略
只需要原有的监督信号

6.2 C 3 K G C^3KG C3KG

常识+对话

ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第98张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第99张图片
应该选择什么知识来辅助理解对话
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第100张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第101张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第102张图片
单轮对话,标注情感和意图
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第103张图片
event的转折
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第104张图片

ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第105张图片

6.3 HICR

纯文本安抚→富媒体/多模态
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第106张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第107张图片
玩游戏、听歌
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第108张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第109张图片
基于用户信息进行推荐
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第110张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第111张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第112张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第113张图片

7. COSPLAY

北京工业大学徐晨
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第114张图片

7.1 背景

ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第115张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第116张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第117张图片

7.2 动机

保持一致性的同时给对方表达更多persona的机会
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第118张图片

7.3 模型

强化学习
鼓励提问
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第119张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第120张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第121张图片
迫使模型围绕共同话题聊天ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第122张图片

7.4 实验与分析

ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第123张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第124张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第125张图片
紫色表示模型对自身的关注,暗色表示对对方的
在这里插入图片描述

8. 中立语句演示原因

信工所李江楠
在这里插入图片描述ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第126张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第127张图片缺点是缺乏对情绪信息的使用
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第128张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第129张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第130张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第131张图片
ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第132张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第133张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第134张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第135张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第136张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第137张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第138张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第139张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第140张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第141张图片聚类预测
在这里插入图片描述ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第142张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第143张图片ACL-IJCAI-SIGIR顶级会议论文报告会(AIS 2022)笔记3:对话和生成_第144张图片

你可能感兴趣的:(人工智能学习笔记,人工智能,深度学习,对话系统,文本生成,自然语言处理)