Deep Learning 和 Knowledge Graph



 Deep Learning 的背景介绍:


Reference,


[1] Turing Test.
http://en.wikipedia.org/wiki/Turing_test


[2] The End of Theory: The Data Deluge Makes the Scientific Method Obsolete
http://www.wired.com/science/discoveries/magazine/16-07/pb_theory


[3] Introduction to Deep Learning.
http://en.wikipedia.org/wiki/Deep_learning


[4] Interview with Amit Singhal, Google Fellow.
http://searchengineland.com/interview-with-amit-singhal-google-fellow-121342
1981 年的诺贝尔医学奖,颁发给了 David Hubel 和 Torsten Wiesel,以及 Roger Sperry。前两位的主要贡献,是 “发现了视觉系统的信息处理”
这个生理学的发现,促成了计算机人工智能,在四十年后的突破性发展。




Reference,


[1] The Nobel Prize in Physiology or Medicine 1981.
http://www.nobelprize.org/nobel_prizes/medicine/laureates/1981/

1995 年前后,Bruno Olshausen 和 David Field 两位学者任职 Cornell University,他们试图同时用生理学和计算机的手段,双管齐下,研究视觉问题。

他们收集了很多黑白风景照片,从这些照片中,提取出 400 个小碎片,每个照片碎片的尺寸均为 16x16 像素,不妨把这 400 个碎片标记为 S[i], i = 0,.. 399。

接下来,再从这些黑白风景照片中,随机提取另一个碎片,尺寸也是 16x16 像素,不妨把这个碎片标记为 T。

他们提出的问题是,如何从这 400 个碎片中,选取一组碎片,S[k], 通过叠加的办法,合成出一个新的碎片,而这个新的碎片,应当与随机选择的目标碎片 T,尽可能相似,同时,S[k] 的数量尽可能少。用数学的语言来描述,就是,

   Sum_k (a[k] * S[k]) --> T,     其中 a[k] 是在叠加碎片 S[k] 时的权重系数。

为解决这个问题,Bruno Olshausen 和 David Field 发明了一个算法,稀疏编码(Sparse Coding)。稀疏编码是一个重复迭代的过程,每次迭代分两步。

1. 选择一组 S[k],然后调整 a[k],使得 Sum_k (a[k] * S[k]) 最接近 T。
2. 固定住 a[k],在 400 个碎片中,选择其它更合适的碎片S’[k],替代原先的 S[k],使得 Sum_k (a[k] * S’[k]) 最接近 T。

经过几次迭代后,最佳的 S[k] 组合,被遴选出来了。令人惊奇的是,被选中的 S[k],基本上都是照片上不同物体的边缘线,这些线段形状相似,区别在于方向。[1]

Bruno Olshausen 和 David Field 的算法结果,与 David Hubel 和 Torsten Wiesel 的生理发现,不谋而合!

人工智能更加逼近自然智能了!
 
Deep Learning 和 Knowledge Graph_第1张图片

图一. Illustration of Sparse Coding。


Reference,

[1] Emergence of Simple-Cell Receptive Field Properties by Learning a Sparse Code for Natural Images.
http://redwood.berkeley.edu/bruno/papers/nature-paper.pdf

你可能感兴趣的:(Deep Learning 和 Knowledge Graph)