贡三元教授之江实验室专题报告

贡三元教授是普林斯顿大学的教授，主要研究方向包括机器学习、系统建模与识别、人工神经网络，贡教授于2018.6.27上午访问之江实验室，并做了1h的专题报告，同时介绍了其实验室的最新研究进展，本文记录了该报告的主要内容，分享给对这一领域感兴趣的盆友们。PS：作为技术小白整理可能有错漏之处，请多多包涵。

贡教授的报告主要分以下四个方面，其中最后一条是他团队的最新研究成果MIND-Net简介，不过因为现在论文还未发表，所以贡教授表示不能讲得太详细，想更多了解该模型的同学只能坐等他实验室的论文出来了。

1、AI的研究领域和流派简介

2、CNN和MLP模型简介

3、影响因素4D和Gaps

4、MIND-Net模型简介

一、AI的研究领域和流派简介

80年代以前的AI是Rule-based的，而我们现在是大数据驱动型AI，我们熟悉的机器学习就是基于大数据来实现的，机器学习又包括了监督学习和非监督学习，监督学习是现在研究成果最多，市场化程度最高的领域。贡教授几十年的研究也主要集中在监督学习领域，在1992年就出版了论述SVM的著作，现在的研究领域MIND-Net也是基于全面监督的反向传播理论（omni-present supervision）,现在该模型的应用领域是分类任务。

在大数据驱动型AI时代，旧摩尔定律将被新摩尔定律替代。非盈利的AI研究机构OpenAI发布了一份“AI与计算”的分析报告，报告显示自2012年以来，在最大的AI训练运行中所使用的计算力呈指数增长，每3.5个月增长一倍（相比之下，旧摩尔定律的翻倍时间是18个月）。自2012年以来，这个指标已经增长了30万倍以上（如果增长一倍的时间需要18个月，仅能增长12倍）。计算能力的提升一直是AI进步的一个关键要素，所以只要这种趋势继续下去，就值得我们为远远超出当今能力的AI系统的影响做好准备。

二、CNN和MLP模型简介

贡教授以自己实验室的工作时间安排为例，工作分为训练阶段和预测阶段。今年上半年，他们一直在训练模型，让模型将最优的参数选出来，在今年的下半年进入模型的预测阶段，检测该模型的效果。而其数据分配上，将数据分为训练集、验证集和预测集，训练集和验证集的数据可以有部分重合，或将数据做些改变，而预测集的数据必须是模型没有见过的数据，才能使最终的模型达到较好效果。贡教授实验室的训练和验证两个阶段的成果数据如下图，两个表中显示了训练和验证模型阶段的预测准确率。

CNN已经成为众多科学领域的研究热点之一，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用。CNN的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。CNN主要用来识别位移、缩放及其他形式扭曲不变性的二维图形，对旋转不变性的识别效果并不好，如下图的例子，数字5旋转后未保留其原特征。

MLP即多层感知器，是一种前向结构的人工神经网络，映射一组输入向量到一组输出向量。MLP可以被看做是一个有向图，由多个节点层组成，每一层全连接到下一层。除了输入节点，每个节点都是一个带有非线性激活函数的神经元（或称处理单元）。基于全面监督的反向传播理论（omni-present supervision）常被用来训练MLP。

三、影响因素4D和Gaps

4D指AI领域的Dimension、Depth、Data、Diagnostics。Dimension指空间向量的设计。Depth指模型的深度，人们倾向于认为更大的矩阵深度会有更好的训练结果，但是在后向传播算法中，深度会是一个很重要的阻碍因素，称作Cursed depth，假设训练1000层的数据，其在后向传播算法中数据的数量级就会非常大，后文介绍的MIND-NET模型就是为了解决这个Cursed depth问题的。Diagnostics可以参照吴恩达提出的诊断模型的一些方法进行优化，本次报告未涉及过深，有兴趣建议找度娘。

Gaps主要指阻碍模型训练的因素，按发生的先后顺序来看，依次为Algorithm、Metric、Model、Data，主要是顾教授积累的一些实战经验，不过并未详述，如下图。

四、MIND-NET模型简介

深度学习的原理要求其不断试错，且具有随意性，这就导致效率很低，MIND-NET提供了一种提高计算成本效益的解决方案，并且可以在数学上做可行性分析。它通过优化基于全面监督的反向传播理论（omni-present supervision）来规避深度问题，如在每一个隐藏层放入一个“特洛伊木马”，其包含了上一层的训练数据，在任何隐藏层打开训练木马，可以直接获取到其训练数据，而不需要启动反向传播过程。通过利用这些训练信息，可以构建一个新的细长的“继承层”来总结由前层积累的判别信息（DI，Discriminant Information）。该模型的原理图如下表，对于每一层，创建其继承节点作为该层的扩展，下一层的计算也同样依赖于这些继承节点。

贡教授团队的实验中，MIND-NET模型已经被应用于合成和真实世界的数据集，例如基于不同层次的ReNet的特征提取的CIFAR-10数据集，其性能相比于MLP有较好的优化效果，如下图。

下面附上贡三元教授的简介，我等学渣可以了解一下牛人是如何练成的：

贡三元教授于1977年获得斯坦福大学电子工程博士学位。1974年，在美国安达尔公司任职工程师。从1977年至1987年，在美国南加州大学电子工程系统专业任职教授，从1987年至今，任职普林斯顿大学电子工程专业教授。并且，他是斯坦福大学，代尔夫特大学，早稻田大学访问教授。中国科技大学荣誉教授，从2001年至今，为香港理工大学荣誉讲座教授。他的研究领域包括，机器学习,系统建模与识别，人工神经网络，无线传输，传感器阵列处理，多媒体信号处理，生物信息数据挖掘与识别。

贡三元教授曾发表400余篇（部）论文及专著。包括：“大规模集成电路和现代信号处理”（英文版及俄文版）；“大规模集成电路处理器”（英文版、俄文版及中文版）；“数字神经网络”（英文版）；“主成分神经网络”（英文版）；“生物信息认证：一种现代方法”（英文版）。

贡三元教授从1988年开始为Fellow of IEEE 。IEEE Signal Processing Society委员会委员(1989-1991)。是IEEE Signal Processing Society一些技术委员会的发起人，包括大规模集成电路信号处理技术委员会，神经网络信号处理技术委员会，多媒体信号处理委员会。贡三元教授被聘为IEEE Transactions on Signal Processing副主编，目前是Journal of VLSI Signal Processing Systems主编。

鉴于贡三元教授的学术贡献，其获得IEEE Signal Processing Society技术进步奖，杰出讲座学者；最佳论文，IEEE Third千禧年勋章等。