Deep Learning 和 Knowledge Graph

 Deep Learning 的背景介绍：


Reference,


[1] Turing Test.
http://en.wikipedia.org/wiki/Turing_test


[2] The End of Theory: The Data Deluge Makes the Scientific Method Obsolete
http://www.wired.com/science/discoveries/magazine/16-07/pb_theory


[3] Introduction to Deep Learning.
http://en.wikipedia.org/wiki/Deep_learning


[4] Interview with Amit Singhal, Google Fellow.
http://searchengineland.com/interview-with-amit-singhal-google-fellow-121342
1981 年的诺贝尔医学奖，颁发给了 David Hubel 和 Torsten Wiesel，以及 Roger Sperry。前两位的主要贡献，是 “发现了视觉系统的信息处理”
这个生理学的发现，促成了计算机人工智能，在四十年后的突破性发展。




Reference,


[1] The Nobel Prize in Physiology or Medicine 1981.
http://www.nobelprize.org/nobel_prizes/medicine/laureates/1981/

1995 年前后，Bruno Olshausen 和 David Field 两位学者任职 Cornell University，他们试图同时用生理学和计算机的手段，双管齐下，研究视觉问题。

他们收集了很多黑白风景照片，从这些照片中，提取出 400 个小碎片，每个照片碎片的尺寸均为 16x16 像素，不妨把这 400 个碎片标记为 S[i], i = 0,.. 399。

接下来，再从这些黑白风景照片中，随机提取另一个碎片，尺寸也是 16x16 像素，不妨把这个碎片标记为 T。

他们提出的问题是，如何从这 400 个碎片中，选取一组碎片，S[k], 通过叠加的办法，合成出一个新的碎片，而这个新的碎片，应当与随机选择的目标碎片 T，尽可能相似，同时，S[k] 的数量尽可能少。用数学的语言来描述，就是，

   Sum_k (a[k] * S[k]) --> T,     其中 a[k] 是在叠加碎片 S[k] 时的权重系数。

为解决这个问题，Bruno Olshausen 和 David Field 发明了一个算法，稀疏编码（Sparse Coding）。稀疏编码是一个重复迭代的过程，每次迭代分两步。

1. 选择一组 S[k]，然后调整 a[k]，使得 Sum_k (a[k] * S[k]) 最接近 T。

2. 固定住 a[k]，在 400 个碎片中，选择其它更合适的碎片S’[k]，替代原先的 S[k]，使得 Sum_k (a[k] * S’[k]) 最接近 T。

经过几次迭代后，最佳的 S[k] 组合，被遴选出来了。令人惊奇的是，被选中的 S[k]，基本上都是照片上不同物体的边缘线，这些线段形状相似，区别在于方向。[1]

Bruno Olshausen 和 David Field 的算法结果，与 David Hubel 和 Torsten Wiesel 的生理发现，不谋而合！

人工智能更加逼近自然智能了！

 

图一. Illustration of Sparse Coding。

Reference,

[1] Emergence of Simple-Cell Receptive Field Properties by Learning a Sparse Code for Natural Images.

http://redwood.berkeley.edu/bruno/papers/nature-paper.pdf