《自然语言处理实践——聊天机器人技术原理与应用》（王昊奋）简要笔记（全）

第一章 概述

1、对话系统分类
基于实现方式——检索式、生成式
基于功能——问答系统、面向任务的对话系统、闲聊系统、主动推荐系统。

2、框架
自动语音识别——自然语言理解——对话管理（Web，社区问答，搜索引擎，百科站点，知识库）——自然语言生成——语音合成

第二章 聊天机器人技术原理

1、基于功能分类
（1）问答系统：偏重于问句分析（模板匹配、语义解析）——主题词、问题词、中心动词
（2）面向任务的对话系统：偏重对话管理。（映射用户意图）
（3）闲聊系统：偏重对话管理（上下文多轮交互）+自然语言理解
（4）主动推荐系统：偏重于BOT的认知能力。

2、自然语言：语音、音韵、词态、句法、语义、语用。

3、BOT自然语言理解模块：实体识别、用户意图识别（显式+隐式（难））、用户情感识别、指代消解、省略恢复、回复确认、拒识判断。

4、词法，句法，语义分析
词法分析（分词、词性标注）——句法分析——语义分析
#句法分析：从字符串得到句法结构——分析结果：句法分析树
（1）分词

（2）词性标注

（3）句法分析

（4）语义分析

5、文本表示类型
（1）词袋模型BOW
（2）TF-IDF（词频-逆文档频率）
#在一片文档中出现频率高且在其他文档中很少出现的词汇有较好的区分能力，适用于分档分类。
（3）词嵌入
谷歌BERT语言模型
论文：J.Li. Adversarial Learning for Neural Dialogue Generation——解决开放领域的对话生成问题

6、BOT对KG的要求：个性化、动态、刻画主观情感、开放API、包含多媒体知识。

7、自然语言生成：流线型（常用）、一体型（更符合人脑思维）
（1）流线型架构图：

（2）对话生成技术：检索式、生成式（基于模板、基于深度学习）
#论文：2016年微软亚研 刘铁岩团队 对偶学习

8、对话管理：对话行为识别、对话状态识别（对话行为序列）、对话策略学习、对话奖励。
对话管理方法：

• 有限状态自动机（需人工定义出对话系统可能出现的所有状态）
• 基于统计（马尔科夫决策过程）——对话状态为一个针对所有状态的概率分布
• 基于神经网络
• 基于框架（槽-值 对）
  #seqGAN 离散序列数据生成模型

第三章 问答系统QA

1、问答系统：基于WebQA（典型系统：AskJeeves，AnswerBus）、基于知识库KBQA、社区问答CQA、其他Hybrid QA/FQA等。
#商业化应答系统：Facebook——GraphSearch、IBM——沃森、苹果——SIRI、微软——小冰等
#问答评测会议：
（1）英文：TREC QA Track
（2）日语：NICIR
（3）多语言：CLFF
（4）汉语：EPCQA
#评估数据集：Free917、WebQuestions、QALD、Simple Questions

2、KBQA架构
（1）基本架构

（2）细化架构
短语映射：将提取的信息词与的知识库或KG中对应的标签映射起来。
映射方法：本体映射、同义词映射。
相似度计算：

• 字符串相似度计算（编辑距离、杰卡德距离、FUZZY模糊）
• 语义相似度匹配
  重定向方法（same as）：寻找相似的属性/类（二元关系）。工具：Reverb、OLLIE、TextRunner、WOE、PATTY。
  使用大型文档找到映射关系。BOA
  基于词向量。

消歧——答案排序RANK。方法：基于字符串相似度、基于属性和参数的判断方法。

3、构建语法树
（1）词汇映射
（2）构建语法树——自底向上
规则：组合范畴语法、λ-calculus方法、移位-归位推导、同步语法、混合树、类CFG、类CYK，PCFG语法等
#图遍历方法：

第四章 对话系统

1、关键模板
自然语言理解——领域识别、意图识别、槽位填充
对话管理——语义表示、对话上下文、用户画像
自然语言生成

2、技术原理
（1）模块化QA

• NLU——自然语句映射于结构化语义表述（机器可读），用户意图+槽值
• DST（对话状态追踪）——理解用户需求
• DPL（对话策略学习）——确定系统动作，意图+槽值
• NLG——生成自然语言

（2）意图分类——文本分类任务，强领域相关性
ISO-24617-2标准
槽位：意图所带的参数
例：意图：询问天气——槽位：时间、地点
评价指标：意图——准确率；槽位填充——F1分数
#论文：Hakkan 2016，Multi-Domain Joint Semantic Frame Darsiag Using Bi-Directional RNN-LSTM

（3）DST：三部分组成——目前为止的槽位填充情况（最重要）、本轮对话过程中的用户动作、对话历史

第五章 闲聊系统

1、基于对话库检索的BOT
（1）匹配方法

• 弱相关模型：DSSM，ARC-I
• 强相关模型：ARC-II，Match Pyramid， DeepMatch
  #相关论文：
  DSSM——Huang P.Learning Deep Structured Semantic Models for Web Search
  ARC-I,ARC-II: CNN Architecture for Matching Natural Language S
  Match Pyramid:Text Matching as Image Recognition

（2）Elasticsearch.搜索引擎——kapi BM25算法（TF-IDF改进）
（3）词向量发展：Woed2Vec，Glove，FastText，ELMO，BERT
（4）word2vec：skip-thought模型（Jamie kiros. 2015）——Quick-thought向量。
#句向量获取

2、基于检索的闲聊系统实现流程

• 输入：语料库P、文本数据C、输入问题S

• 过程：
  （1）将全部对话语料P存入Elasticsearch，自动生成索引。
  （2）利用大规模文本数据集训练词向量，进而选择任意一种词向量生成方法获取句向量模型。
  （3）输入句S，通过Elasticsearch获取候选相似问句集合A
  （4）由句向量模型分别为输入句子S和候选集A生成句向量
  （5）分别计算A与每一个集合内句子的余弦相似度，获取相似度打分。
  （6）根据分数排序，返回最高分值答句R。

• 输出：答句R

3、可使用多层感知的方法模拟多轮对话。
对之前出现的所有句子分别进行编码，每个编码都可以体现整个句子的信息，再通过注意力模型与目标连接，预测时通过基于句子的注意力模型对回复进行预测。

第六章 BOT评测

1、评估任务型对话系统最直接的两个指标是对话成功率和对话成本消耗。
2、闲聊对话系统评测标准：BLEU/METEOR等
#论文：张伟男——对话系统评价方法综述，2017.