Fintech前沿技术周报【2016-12-20】

本周整理了4篇在人工智能和聊天机器人领域的相关文章：
* 聊天机器人中对话模板的高效匹配方法
* Implementing a Retrieval-based Model In Tensorflow
* 盘点 | 2016深度学习重大进展：从无监督学习到生成对抗网络
* 福布斯：关于众多2017年科技趋势预测的6个有趣观察

以下为一些总结和看法，如有意见或建议欢迎指点～

聊天机器人中对话模板的高效匹配方法

Authors: 张俊林，黄通文，薛会萍

这篇文章是对基于模板的聊天机器人的匹配效率优化方法。目前垂直领域的 chatbot 大多采用的方法是基于规则匹配，然后根据匹配上的规则到后台图数据库查询。随着模板数量的增加，逐个模板匹配（O(n)）的效率弊端将会严重影响到 chatbot 的相应效率，于是引入了文中的方法。

该方法大概可以分为如下几步：
1. 根据问题集 Q={Q1,Q2,...,Qn} ，将每个 Qi 切分为片段 SEGi=(segi,1,segi,2,...,segi,k) 。
2. 将所有 Qi 的 SEGi 取并集得到 SEG ，为 SEG 中的每个 segi 建立内存倒排索引，分别关联到出现过的问题。
3. 当新问题 Qnew 到来时，将其切分为片段 SEGnew=(segnew,1,segnew,2,...,segnew,k′) ，分别找到 segnew,j 出现过的 Qi ，可以根据需要对这些 Qi 取交集、并集或其他自定义集合。最后选出匹配出的一个或多个 Qi 。

Implementing a Retrieval-based Model In Tensorflow

这篇文章介绍了在 tensorflow 中实现基于检索的对话模型。所使用的编码器是 dual-encoder LSTM，作者也说明了选择这个模型的原因是因为 dual-encoder LSTM 已经被证明在这个数据集上的表现性很好。

所谓 dual-encoder LSTM 的工作原理如下：
1. 将输入和输出先切割成词片，每个词片可以用 word embedding 表示。
2. 将 1 中得到的 word embedding 依次输入到同一个 RNN 中，RNN会产生相应语义向量，在我们这个问题中就是问题 c 和答案 r 的语义向量。
3. 学习矩阵 M ，这里 cTM 是通过问题 c 预测出一个答案 r′ 。
4. 计算 r′ 与真正答案 r 的相似度。
对垂直领域的 chatbot 来说，也需要根据对话数据集尝试不同的模型，因为对于真正落地的，具体点说是有专向性语料库的 chatbot，一方面需要增加训练数据量来充分利用模型参数，另一方面模型也要能在具体数据集上表现良好。调参是关键，选择模型也是不容忽视的。

盘点 | 2016深度学习重大进展：从无监督学习到生成对抗网络

主要想通过这篇文章为大家简单介绍一下今年比较火的 生成对抗网络(Generative Adversarial Nets)， 火的原因在于该方法解决了一些深度学习中目前无法解决的生成式模型的问题，而通过生成式模型可以获取大量数据从而进一步推动模型效果。
GAN 本质是博弈论中的 minimax 加入到了神经网络中，借助目前在深度学习中比较成熟的判别式模型(Discriminative)来辅助调整尚未成熟的生成式模型(Generative)。
文中通过比较通俗的画家真伪作品鉴别的例子介绍了 GAN，接下来通过实际操作过程来了解一下其真正的实现机制。
如图所示， z 表示噪声， x 表示数据（可以是真实的数据样本，也可以是由噪声z生成的仿样本），绿线表示生成式模型 G 根据 z 生成出的 x′ （称为假样本）的分布，黑色虚线表示判别式数据样本的分布，蓝色虚线表示判别式模型 D 对假样本判断为真样本的概率。

从图中可以看出，起初由于没有任何反馈，G 根据 z 生成的假数据位于左侧的分布与真实数据分布差别很大，蓝色虚线表明 D 对于生成出的位于左侧的 x′ 判错率很高，但由于生成的数据右侧的分布和真实数据差别很大，所以判错率较低。GAN 将 (a) 中蓝色虚线这一判别结果反馈给生成式模型 G，G 根据结果调整生成的分布，可以看出从 (a) 到 (d) 绿线在不断向黑线靠拢，当 G 伪造的数据和真实数据分布完全拟合时，判别式模型 D 将做不出有效的判断，即 0.5-0.5 概率判断对错。
其中博弈论的 minimax 体现在：生成式模型 G 要尽可能最大化 max 伪造数据分布和真实数据分布的相似性，而判别式模型 D 则要尽可能最小化 min 对伪造数据的误判率。两者相互牵制，从而得到 G 的最优结果。

福布斯：关于众多2017年科技趋势预测的6个有趣观察

这篇文章对于2017年科技趋势进行了预测，提出了6个观察。
当仁不让首个预测就是 chatbot ，前段时间直播火的助理来也以其独特的“人工”智能方式，作为生活助手赢得了微软的数千万投资，究其原因大概无论是小娜、小冰，还是苹果的siri，它们作为 chatbot 更多的还是在于通用性，这就导致在垂直领域无法得到很好的助手效果，助理来也表示要更加了解用户的习惯和喜好，目前看来还是偏通用。垂直领域最重要的还是数据，专业导向性的数据，而且这样的数据也会影响到所训练出的 chatbot 的泛化能力。未来真正的关注点应在于如何将不同垂直领域得到的助手耦合在一起。
此外，个性化订制、利用数据的跨行业应用、深度学习也可能更加火热。最后本文提出了 “AI管理人” 的概念，直白点说，就是原来管理着员工工作的老板现在开始管理机器工作，并且适时的将机器的反馈进行改进，学术点说就是偏强化学习。