传统机器学习和深度神经网络对比

Alpha GO

虽然大家会说AlexNet是深度学习的开始，但真正引爆整个AI行业的可以说是Alpha GO（人称阿尔法狗）。Alphabet子公司Deepmind开发的围棋算法在01博弈游戏上成功击败人类，除了传统的把神经网络往深里走，然后通过过去对局的学习意外，还加入了一些探索性的策略使得人们认为它将是未来的AI发展方向。如果你英语够好也可以直接阅读它的原文，这里并不是我想说的重点。我们要沉下心来反思这个浮躁的技术。

神经网络

一种传统的机器学习方法，它就好像是一颗横着放的树加上一些策略，看起来像人类的思考方式。它有人脑神经元的特质，像生物感受器一样。有多个输入端和多个输出端。同一个细胞可能要受到多个来源的输入才可能传播到下个神经细胞。

神经网络完美地复制了这一结构，它早在上个世纪初就已经有人用电阻地方式去模拟这样地算法，可是最终以失败告终，最直接地原因就是能力不是几十个神经元可以体现出来的。像万金油ResNet152的层数到达了152层神经网络，训练的过程对显卡要求是非常的高，如果使用Pytorch那么请自己查2019年Nvidia 2080Ti 8G现存以上显卡价格。不得不佩服人脑的伟大，可以提供几亿个这样的网络同时互相作用。

但实际上它完全无法突破的就是对于一个问题的定义范围。比如，你让Alpha GO去试试英雄联盟？因此神经网络只是一种像显微镜一样的工具，在某些场合能够超越人类，但最后还是一个解决问题的工具而已（离通过图灵测试还远着呢）。它在复杂的现实世界里，应用的范围也是有限的，受到数据集和网络设计的限制。更重要的是对于深层次的网络平民级显卡是无法承受。除非有无限的时间和无限石子。

然而传统的机器学习算法并没有以上的问题。他们深知自己是一门工具，有效地为工业界提供稳定可靠解决方法。所以现在比较突出的深度神经网络应用有Computer Vision, Natural Language Processing和Recommendation System里。除了NLP以外，其余两个方向算是找到了自己的金主，但Recommendation System算是一个比较不正宗的神经网络，后面文章会对比。由于个人还没有时间深入到NLP的领域太深，我就从CV和RS两个方向，对深度网络做个简单评判。

从工业的角度对比传统机器学习和深度神经网络

在学深度神经网络的时候有个词汇就定好传统机器学习和深度神经网络的应用范围，那就是可解释性。当深度神经网络只有几层的时候我们可以用卷积核的感受野来解释它的合理性。可随着网络深层化，一些Dropout、BN层使得它就像变了一个人似的无法解释为什么会这么做的黑盒子。

有这么一种观点，工业界不允许大量运用这么摸棱两可的技术，因为它无法证明它自己的正确性，就好比我们不可以用深度神经网络去测算桥梁的稳定程度，也不可以在食品生产的某个环节相信那91%的准确性，因为那8%的错误会导致工业血本无归，无法证明它的正确意味着跟一部分的工业完全脱钩。但过分的追求可解释就等于没有隐私！这也是不符合工业界的思路，也是深度神经网络的机会。设计网络地时候可以结合传统机器学习，也许也能提高不少可解读。所以深度神经网络在各种行业探索中前行。