Deep Learning

概念

depth

　　所表示的意思是从input到output最长的路径长度。传统的机器学习算法也是有depth这个性质的：

• BP：depth = layers + 1；
• SVM：depth = 2，核函数和线性分类器？

Deep的动机

　　在depth比较小的时候，很多ML能够完成指定的任务，不过会有一些显著的缺点：

• 节点数增长的非常快，会随着input的规模成倍地增加。

要明白这一点，先思考一下节点与节点的关系：

• 在同一层：扩充。
• 在不同层：组合。

这样的话，在增加相同节点数的时候第二种状态下的节点能表达的情况数会更多，而且这点上是不是有点“组合爆炸”的感觉？这里YY一下，如果大脑中的神经元和ML中的神经元非常相似的话，那么：

• 在Deep比较少的时候得到的结果是什么样的？
• 在Deep很多的时候得到的结果又会是什么样的？

其实，在我们看到一段文字的时候，脑子里面浮现出来并不是我们看到了“A B C”（对应input），而直接是这个单词的含义（对应output），那么这应该也算是Deep增加的一种表示吗？下面的三篇论文对Deep Learning的影响很大：

• http://yann.lecun.com/exdb/publis/pdf/ranzato-06.pdf
• http://www.iro.umontreal.ca/~lisa/pointeurs/BengioNips2006All.pdf
• http://www.cs.toronto.edu/~hinton/absps/fastnc.pdf

这三篇论文的主要思想（还没读）：

• 每一层的pre-train使用无监督方法训练，而且每次只训练一层。
• 一般使用有监督方法去微调所有层。

Deep Belief Network

 

 

 

 

 

http://www.iro.umontreal.ca/~pift6266/H10/notes/deepintro.html#insufficient-depth-can-hurt