人工智能深度学习人物关系[全]

这段时间更新较少，原因是史博国庆要结婚啦！

为庆祝祖国母亲生日和自己终于脱单，给大家献上这篇绝对的干货！也提前祝大家国庆快乐！

前言

在“机器学习经典人物关系[全]”里面我们分享了机器学习领域中巨擘们的关系，这里我们分享人工智能领域中巨擘们的关系图谱。

在“易图秒懂の人工智能诞生”里面，我们介绍了从罗素->维纳->麦卡洛克->皮茨->罗森布拉特这个神经网络诞生的主线；在这个主线里面，暗含了逻辑->控制->神经网络领域迁移。也介绍了“二大会议”的人工智能诞生的主线：西克森研讨会->达特茅斯Dartmouth会议；在这个主线里面，冯诺依曼和图灵的影响释放 -> 麦卡锡，闵斯基和香农的影响释放 -> 司马贺和纽厄尔的影响释放，这样一脉传承的影响释放和传播。

在“易图秒懂の符号主义诞生”里面，介绍了搞经济学的司马贺搞起人工智能来，一发不可收拾，司马贺和学生纽厄尔，还有另外一个学生费根鲍姆都是图灵奖得主。他们的突破性研究带来了专家系统，开启了这个符号主义时代最优秀的应用。

在“易图秒懂の连接主义诞生”里面，介绍了罗森布拉特的感知机被闵斯基的XOR问题打死之后，虽然随后韦伯斯发明BP算法搞定XOR，但是闵斯基的这次闷棍太狠，神经网络完全无法还魂。新的救世主是作为物理学家的霍普菲尔德，绕道电子工程威德罗的ADALINE，大爆发了霍普菲尔德网络，神经网络起死回生。这次起死回生并不容易，霍普菲尔德得道于：1）SOM的作者，科荷伦鼓吹的 Content-Addressable Memories (CAM)；学习到网络结构。 2）利特尔的能量函数（基于能量的学习）；学习到优化目标。 3）李雅普诺夫的Lyapunov Function；学习到优化方法。 4）威德罗的ADALINE; 学习到迭代学习。霍普菲尔德网络深深刺激了到DNA双螺旋的创建者克里克，这位大师在继承了心理学大师曼德勒的实验室之后，纠集了实验室三大员工：心理学大师埃斯蒂斯的学生鲁梅尔哈特；理论化学家、认知科学大师Christopher的学生辛顿；和认知科学大师诺尔曼。克里克就这么搞起了神经网络，并且第一次在Nature上鼓吹神经网络。这样，一帮心理学派的弟子们在搞神经网络的时候，将认知科学融合了进来，诞生了连接主义。鲁梅尔哈特和辛顿一起，简化了BP算法。让BP盛行了起来。另外，以鲁梅尔哈特为代表的连接主义，培养了下一代的乔丹。他和辛顿一起，同时也造就了贝叶斯网络和深度神经网络在机器学习中的极大发展。

在“易图秒懂の深度学习诞生问题篇”，描述了霍普菲尔德网络衍生的Simple Recurrent Network 在被Schmidhuber用来做语音识别时候效果不好，让他的硕士霍克赖特去研究为什么效果不好。霍克赖特一发而不可收拾，发现了Gradient Vanishing问题，搞出了LSTM，可惜Schmidhuber没有混连接主义的圈子。乔丹的一个搞自然语言处理的博士后本吉奥开始把Gradient Vanishing问题在连接主义的圈子里宣传开了。

在“易图秒懂の深度学习诞生发展篇”，描述辛顿，改进了霍普菲尔德网络到玻尔兹曼机，最后和自己的深度信念网络融合，诞生了深度玻尔兹曼机。另外，辛顿一个搞图像识别的博士后杨乐昆再造了福島邦彦的Neocognitron，成为了LeNet CNN。这样DBM，LSTM， CNN三架马车带动了深度学习的发展。

哪些行业的人发展了神经网络？

在神经网络发展史上，生物学的，心理学的，神经科学的，计算机的，电子电路的，物理的，数学的，逻辑的，你方唱罢我登场，一路不通换一路，终于发展到今天。