Lecture 01: Deep Learning Challenge: Is There Theory?

STATS385

Lecture 01: Deep Learning Challenge: Is There Theory

• 深度学习近几年来势头很猛，发展很快，从Google搜索量、NIPS论文发表量和CS231n课程的选课人数可见一斑；
• 虽然以深度学习为代表的人工智能在国际象棋（Deep Blue）、DARPA挑战赛和围棋（AlphaGo）上都超越了人类，但是离真正的人工智能/强 ⋅ ⋅ 人工智能还有很大的距离；
• 20世纪的几大标志性应用科学：原子能、载人登月、抗生素和绿色革命；
• 人工智能的发展必然会对人类社会的正常秩序造成不可忽视的影响，如机器奴役人类、机器的大规模应用导致的工人失业和人类创造性的遗失；
• 深度学习虽然在最近才得到如此广泛的应用，但是实际上其基本理论在30年前就已经建立起来了，之所以现在才得到推广，是因为现如今大数据的出现（主要是智能手机的大规模普及）和由此带来的计算性能的提升（电子游戏的巨大市场）；
• 现如今如ImageNet的竞赛模式在上世纪80年代就已经出现，并产生了一定的效果，但是这样的竞赛同时也是残酷的；
• 很多学者对现如今深度学习受到如此广泛应用却没有严谨的或令人信服的数学理论的现状表示担忧，如Deep, Deep Trouble 一文和Are AI And Machine Learning Killing Analytics As We Know It? 一文，后者谈的主要是商业、零售业方面的数据分析；
• 深度学习的理论还很不成熟，虽然有逼近理论、统计建模理论和优化理论等等，但是这些都没有触及问题的核心，而这门课的主要内容就是邀请一些学者从他们的角度介绍深度学习的一些理论，包括神经科学、调和分析、信息论以及上面介绍的逼近理论和统计学等等；
• 神经科学方面已经有CS321n中介绍过的Wiesel和Hubel的工作；CNN中conv层，pool层都有其相应的人类视觉机制的支撑，并且和调和分析中的小波、ridgelet和curvelet很相似（私以为不就是数字图像处理的基本思想吗？）；卷积实际上是一种稀疏的矩阵相乘；
• 逼近理论方面：一些用ridgelet逼近的函数可以避免维度灾难；一些多层表示的函数也可以避免维度灾难；
• 现代统计学和深度学习有很大关系；
• -