【聊天机器人】深度学习构建检索式聊天机器人原理

一、检索式与生成式聊天机器人对比

1、基于检索的chatterbot

2、基于生成的chatterbot

3、聊天机器人的一些思考：

（1）基于检索的chatterbot

• 根据input和context，结合知识库的算法得到合适回复。
• 从一个固定的数据集中找到合适的内容作为回复
• 检索和匹配的方式有很多种（可以基于机器学习判断属于那种类型的匹配，利用关键字+word2vec进行文本相似度匹配）
• 数据和匹配方法对质量有很大影响

（2）基于生成模型的chatterbot

• 典型的是用seq2seq方法
• 生成的结果需要考虑通畅度和准确度
• 深度学习是学习数据的特征。对于认为很重要的特征，可以最后在全连接层时进行矩阵拼接加入，而不参与特征之间的学习，以免造成影响。

以前者为主，后者为辅；检索方法过程中当模型需要算法是，可以考虑加入深度学习。

4、chatterbot的问题

（1）应答模式的匹配方法太粗暴

• 编辑距离无法捕获深层语义信息
• 核心词+word2vec无法捕获整句话语义（对于我 爱 你和你 爱 我，词向量表示是一样的）
• LSTM等RNN模型能捕获序列信息
• 用深度学习来提高匹配阶段准确率

（2）特定领域+检索+合适的知识库能做到还不错。但开放域比较难

5、转化为机器学习或深度学习能够解决的问题，应该怎么做

（1）匹配本身是一个模糊的场景
转成排序问题
（2）排序问题怎么处理？
转成能输出概率的01分类
（3）数据构建？
需要正样本（正确的答案）和负样本（不对的答案）
（4）Loss function
分类问题采用对数损失（二元的交叉熵损失）
)

二、使用深度学习完成问答：

1、论文

IMPLEMENTING A RETRIEVAL-BASED MODEL IN TENSORFLOW，WILDML BLOG，2016

2、论文框架图

三、深度学习问答数据

1、中文：

Microsoftz做法是，从其他不同的场景里，以相同的概率抽取答案，成为负样本。当前场景的问答作为正样本。

2、Ubuntu对话语料库：

（1）训练集：

• Ubuntu对话数据集，来自Ubuntu的IRC网络上的对话日志
• 训练集1000000条实例，一半是正例（label为1），一半是负例（label为0，负例为随机生成）
• 样本包括上下文信息（context，即Query）和一段可能的回复内容，即Response；Label为1表示Response和Query的匹配，Label为0表示不匹配
• query的平均长度为86个word,而response的平均长度为17个word。

（2）验证集/测试集：

• 每个样本有一个正样本和9个负样本（也称为干扰样本）
• 建模的目标是给正例的得分尽可能高（排序越靠前），而负例的得分尽可能低（有点类似分类问题）
• 语料做过分词、stemmed、lemmatized等文本预处理
• 用NER（命名实体识别）将文本中的实体，如姓名、地点、组织、URL等替换成特殊字符。

（3）评估准则：

• recall@k（在前k个位置，能够找回标准答案的概率有多高）
• 经模型对候选的response排序后，前k个候选中存在正例数据（正确的那个）的占比
• k值越高，指标值越高，对模型性能的要求越松。

四、基线模型代码实现：

import pandas as pd
import numpy as np
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.feature_extraction.text import TfidfTransformer

#导入数据
train_df = pd.read_csv("../data/train.csv")
test_df = pd.read_csv("../data/test.csv")
validation_df = pd.read_csv("../data/valid.csv")
y_test = np.zeros(len(test_df))
#定义评估指标
def evaluate_recall(y,y_test,k=n):
    num_examples = float(len(y))
    num_correct = 0
    for predictions,label in zip(y,y_test):
        if label in predictions[:k]:
            num_correct += 1
    return num_correct/num_examples
#从len(utterances)中随机抽取数字，生成size=10的数组

1、基线模型：

#定义随机预测函数
#从len(utterances)中随机抽取数字，生成size=10的数组
#replace:True表示可以取相同数字，False表示不可以取相同数字
def predict_random(context,utterances):
    return np.random.choice(len(utterances),10,replace=False) 
#生成随机预测结果 
y_random = [predict_random(test_df.Context[x],test_df.iloc[x,1:].values) for x in range(len(test_df))]
#对前k=1，2，5，10分别进行评存在的正样本概率评估
for n in [1,2,5,10]:
    print(f'Recall @ ({n},10):{evaluate_recall(y_random,y_test,n):g}')    

输出结果：
Recall @ (1,10):0.0992072
Recall @ (2,10):0.199313
Recall @ (5,10):0.50037
Recall @ (10,10):1

2、基线模型：TF-IDF检索

class TFIDFPredictor():
    def __init__(self):
        self.vectorizer = TfidfVectorizer()
    def train(self, data):
        self.vectorizer.fit(np.append(data.Context.values,data.Utterance.values))
    def predict(self,context,utterances):
        #将输入问题Q转化为向量
        vector_context = self.vectorizer.transform([context])
        #将回答A转化为向量
        vector_doc = self.vectorizer.transform(utterances)
        #将回答向量与问题向量做矩阵相乘
        result = np.dot(vector_doc,vector_context.T).todense()
        result = np.asarray(result).flatten()
        ##将result中的元素从小到大排列，提取其对应的index(索引)。再将索引进行倒叙排列（越在前面，概率越大）
        #argsort
        return np.argsort(result,axis=0)[::-1] 
pred = TFIDFPredictor()
pred.train(train_df)
y = [pred.predict(test_df.Context[x],test_df.iloc[x,1:].values) for x in range(len(test_df))]

for n in [1,2,5,10]:
    print(f'Recall @ ({n},10):{evaluate_recall(y,y_test,n):g}')

输出结果：
Recall @ (1,10):0.485624
Recall @ (2,10):0.586681
Recall @ (5,10):0.762474
Recall @ (10,10):1

五、神经网络建模原理

1、Query 和Response都是经过分词和embedding映射的。初始向量使用GloVe/word2vec
2、分词且向量化的Query和Response经过相同的RNN（word by word）（同一组参数）。RNN最终生成一个向量表示，捕捉了Query和Reponse之间的【语义联系】（图中的c和r）；这个
向量的维度是可以指定的，这里指定为256维。
3、将向量c与一个矩阵M相乘，来预测一个可能的回复r‘。如果c为一个256维的向量，M维是256*256的矩阵，两者相乘的结果为另一个256维向量，我们可以将其解释为【一个生成式的回复向量】。矩阵M是需要训练的参数
4、通过点乘的方式来预测生成的回复r’和候选的回复r之间的相似程度，点乘结果越大表示候选回复最为回复的可信度越高；之后通过sigmoid函数归一化，转成概率形式。（sigmoid作为压缩函数经常使用）
5、损失函数：二元的交叉熵函数/对数函数。回想逻辑回归，交叉熵损失函数为L = -y * ln(y’)- (1 - y) * ln(1 - y’)。（公式的意义是直观的，即当y=1时，L=-ln(y’),我们希望y’尽量接近1，使得损失韩式的值越小‘反之亦然。）

使用Tensorflow的话训练速度主要受2方面影响。一、读数据（例如，训练数据是512兆的文本数据，100w个长文本。是很大的数据集），开销会很大。可以使用Tensorflow能都读进去的格式tdrecords。可以用Tensorflow自带的工具进行读入和处理。如一个batch或构建一个队列。二、GPU处理的速度。可以构建一个队列 query，在队列里不断去数据，以跟的上入读数据的速度。

神经网络代码实现在下篇文章中具体阐述