神经网络的局限与发展

正文

私以为，深度学习是基于多层神经网络结构的一种机器学习技术。即便深度学习已经广泛地应用于各个领域，也产生了无人驾驶、步态识别、人脸识别等重要应用，但是其短板也是致命的。比如前不久在美国发生的一起 Tesla 无人驾驶车撞上一台白色货车的严重事故，导致无人驾驶车上的乘客死亡。事后经调查发现事故的原因是当时车载的深度学习模型认为前方的白色货车是公路（因为货车通体白色）所以无人驾驶车没有减速就直接撞了上去。

显然，在开放环境下，深度学习技术还不够成熟。一方面原因是传统深度学习模型没有基于自然科学常识。

文章[1]介绍到日前 Bengio 团队提出了一种新型神经网络，将神经网络的输入变量从传统的二维矩阵拓展为图谱。图谱是一种去除了两条限制的矩阵[2]。笔者认为将深度学习的输入数据类型，从“有信息损耗的一维向量”向“无信息损耗的复杂数据类型”演进，是未来人工智能领域的研究趋势。

笔者也思考过类似的问题，为什么深度学习浪潮兴起于图像领域？我认为是这样的原因：图像的表示方法是矩阵，矩阵与一维向量是“近亲”，神经网络的输入是固定纬度的一维向量，根据“没有免费午餐定理”得出结论——图像数据特别适合于神经网络模型，所以深度学习能在图像领域大展拳脚。

笔者与学强师兄探讨过这样的问题，目前神经网络的模型更适合图像领域，那么对于自然语言处理领域，我们能否改进神经网络的底层输入是一维向量的现状，从而提出更适合自然语言处理的新型神经网络模型？

综上所述，传统的深度学习模型存在如下几个缺陷：

1. 没有结合常识，或者说模型不基于知识；
2. 一维向量的输入模型不适合自然语言处理领域应用。

参考文献

1. 【一文读懂Bengio研究组最新论文】图谱注意力网络GAT，以图谱做输入做深度学习. 新智源. 邓侃
2. Graph Attention Networks, https://arxiv.org/pdf/1710.10903.pdf