美国五重院士特伦斯谈人工智能瓶颈远未达极限，数学家有AI可解释性理论工具

科学Sciences导读：美国五重院士特伦斯谈人工智能瓶颈远未达极限，数学家有AI可解释性理论工具；人工智能正在带来数学和统计学的新纪元。B部分简政放权建议，可回收再利用垃圾应该让市场化解决；不可回收垃圾处理方式无非是垃圾焚烧发电、垃圾掩埋自然降解，应该分类处理！现行垃圾分类制度完全可以简化成两种垃圾清运。

A美国五重院士特伦斯谈人工智能瓶颈远未达极限，数学家有AI可解释性理论工具

美国五重院士特伦斯谈人工智能瓶颈远未达极限，数学家有AI可解释性理论工具

image.png

美国五大国家学院(国家科学院、国家工程院、国家医学院、国家艺术与科学学院、国家发明家学院)院士，IEEE follow，美国物理学会会士，美国“脑计划”项目领军人物，索尔克研究所Francis Crick教授，克里克-雅各布理论和计算生物学中心主任，《深度学习》作者，人工智能科学家特伦斯·谢诺夫斯基(Terrence Sejnowski)公开表示，人工智能“瓶颈”远未达极限，数学家已经有了实现AI可解释性的理论工具。目前美国数学界已有相应理论工具用来实现深度学习黑盒的可解释性，但因尚未发表，无法透露更多细节。特伦斯认为人工智能正在带来数学和统计学的新纪元。同时，在特伦斯看来，目前正如蒸汽机和热力学的关系一样——在蒸汽机发明数十年后人们才了解热力学并且用它来改良蒸汽机——人工智能的底层数学、脑科学逻辑可以在发展过程中逐渐被人们掌握和理解。 一、深度学习可解释性问题人工智能三巨头之一Yann LeCun认为：人类大脑是非常有限的，我们没有那么多脑容量去研究所有东西的可解释性。有些东西是需要解释的，比如法律，但大多数情况下，它们并没有你想象中那么重要。比如世界上有那么多应用、网站，你每天用Facebook、Google的时候，你也没想着要寻求它们背后的可解释性。LeCun举了一个例子：他多年前和一群经济学家也做了一个模型来预测房价。第一个用的简单的线性于猜测模型，经济学家也能解释清楚其中的原理；第二个用的是复杂的神经网络，但效果比第一个好上不少。结果，这群经济学家想要开公司做了。你说他们会选哪个？LeCun表示，任何时候在这两种里面选择都会选效果好的。就像很多年里虽然我们不知道药物里的成分但一直在用一样。但是不可否认的是，可解释性始终是一个非常好的性质，如果我们能兼顾效率、准确度、说人话这三个方面，具备可解释性模型将在很多应用场景中具有不可替代的优势。无论是考虑到学术、教学、业界、设计还是安全，可解释性的好处远远大于不可解释性。顶会ACL及其社群非常依靠经验驱动，求并做好可以复制和重现的假设驱动的科学，如同Chris Manning教授的博士生Abigail(个人网站http://www.Abigailsee.com)的文章Machine Learning Vs Statistics(《机器学习和统计学》)中所说，深度学习高速发展的这几年，NLP社区有理由感到兴奋和焦虑。深度学习已经成功运用在自然语言、多媒体、计算机视觉、语音和跨媒体等相关的特定领域。然而，这一架构在“端到端”模式下、通过标注大量数据来进行误差后向传播而优化参数的学习方法被比喻为一个“黑盒子”，解释性较弱遥可解释性指算法要对特定任务给出清晰概括，并与人类世界中已定义的原则或原理联结。在诸如自动驾驶、医疗和金融决策等“高风险”领域，利用深度学习进行重大决策时，往往需要知晓算法所给出结果的依据。因此，透明化深度学习的“黑盒子”，使其具有可解释性，具有重要意义。围绕深度学习可解释性这一问题，Abigail从卷积神经网络可视化、卷积神经网络的特征分析、卷积神经网络的缺陷及优化、利用传统机器学习模型来解释神经网络和基于可解释模块的深度网络学习这五个方面介绍现有研究工作。

image.png

Abigail对近年来人工智能顶级会议上关于深度学习可解释性的论文发表数量进行统计分析，发现深度学习的可解释性是目前人工智能研究的一个热点。最后，Abigail认为深度学习的可解释性研究可从因果模型、推理、认知理论和模型、智能人机交互等方面着手，以构建出可解释、更通用和适应性强的人工智能理论、模型和方法。当然，很多学者对可解释性的必要性也存有疑惑，在NIPS 2017会场上，曾进行了一场非常激烈火爆的主题为“可解释性在机器学习中是否必要”的辩论，大家对可解释性的呼声还是非常高的。 二、有哪些可解释性方法？机器学习目标是从数据中发现知识或解决问题，那么在这个过程中只要是能够提供给我们关于数据或模型的可以理解的信息，有助于我们更充分地发现知识、理解和解决问题的方法，那么都可以归类为可解释性方法。如果按照可解释性方法进行的过程进行划分的话，大概可以划分为三个大类：1. 在建模之前的可解释性方法2. 建立本身具备可解释性的模型3. 在建模之后使用可解释性方法对模型作出解释近年来，已有很多论文探索可解释性。比如CAM论文

image.png

CAM特征图经过GAP处理后每一个特征图包含了不同类别的信息，其具体效果如上图的Class Activation Mapping中的图片所示，其中的权重w对应分类时的权重。这样做的缺陷是因为要替换全连接层为GAP层，因此模型要重新训练，这样的处理方式对于一些复杂的模型是行不通的，Grad-CAM很好的解决了这个问题，绘制热力图：①提取出所有的权重，往回找到对应的特征图，然后进行加权求和即可；②通常来说，最后一层卷积层的大小不等于输入大小，所以我们需要把这个类激活映射上采样到原图大小，再叠加在原图上，就可以观察到网络得到这个输出是关注图片的哪个区域。CAM的意义就是以热力图的形式告诉我们，模型通过哪些像素点得知图片属于某个类别。缺点需要修改网络结构并重新训练模型，导致在实际应用中并不方便！Grad-CAM

image.png

效果图:

image.png

Grad-CAM和CAM基本思路一样，区别就在于如何获取每个特征图的权重，采用了梯度的全局平均来计算权重。定义Grad-CAM中第k个特征图对应类别c的权重

image.png

其中，Z表示特征图的像素个数，yc表示第c类得分的梯度，Aijk表示第k个特征图中，(i,j)位置处的像素值。然后再求得所有的特征图对应的类别的权重后进行加权求和，这样便可以得到最后的热力图，求和公式如下：

image.png

代码实现在keras-cam和keras/pytorch实现，此处参考：
①spytensor的博客:“卷积可视化”：Grad-CAM；
②global-average-pooling-layers-for-object-localization；
③《Grad-CAM:VisualExplanations from Deep Networks via Gradient-based Localization》；④https://bindog.github.io/blog/2018/02/10/model-explanation/；
⑤Grad-CAM: Why did you say that? Visual Explanationsfrom Deep Networks via Gradient-based Localization。
[14] 三、深度学习瓶颈即将解决深度学习是目前人工智能最受关注的领域，也是这一轮人工智能兴起的原因。与此同时，这一技术具有不可解释等特性也使得一些观点认为深度学习已经面临瓶颈。2019年7月25日，特伦斯·谢诺夫斯基在接受采访时[14]表示目前美国数学界已经有了相应的理论工具用来实现深度学习黑盒的可解释性，尽管因为尚未发表，他无法透露更多细节，但特伦斯谈人工智能“瓶颈”远未达极限，数学家已经有了实现AI可解释性的理论工具。特伦斯也认为人工智能正在带来数学和统计学的新纪元。同时，在特伦斯看来，目前正如蒸汽机和热力学的关系一样——在蒸汽机发明数十年后人们才了解热力学并且用它来改良蒸汽机——人工智能的底层数学、脑科学逻辑可以在发展过程中逐渐被人们掌握和理解。经济观察网：目前深度学习技术路线还有多少潜力？是否已经遇到了天花板？特伦斯：我觉得不太可能达到局限，现在深度学习刚刚进入到一个发展的开端，发展应该是以10年为周期来计算的，未来20年、30年才能达到一个极限。现在我们才做了第一步，通过展示相关AI技术来解决问题的，而未来我们还有更多问题需要解决。对比因特网，在它刚开始能够发邮件的时候，我们没法预测它能对我们的商业、生活带来什么影。所以对于AI将会带来的影响，我们还需要等待。经济观察网：您讲的主要是应用层的影响，那么在底层理论层面，这项技术有没有更大突破，比如数学方面？特伦斯：我之前在华盛顿参加了一个由美国科学院举办的学术研讨会，该研讨会的主题是“深度学习的科学”。组织这场学术研讨会的数学家是拥有相关有技能和工具，能够测试深度学习网络内部结构的人。人们经常用“黑盒子”来诠释深度学习，这是不对的，甚至恰恰相反，因为这些所谓的“黑盒子”完全是透明可见的，我们可以访问其中每一个单独的连接单元、每一个活动型态，它们都在那里。而现在，数学家们可以探究其中，开始检验模型是如何活动的，信息是如何在网络中流动的，最终它是如何执行转换的。这件问题经常通过一些例子被讨论。这件事正在发生，在上述会议上的数学家们已经开始描述他们对此的新洞见。统计学家们则提出一些悖论，你们拥有这么多参数，现在可能会存在过度拟合的现象。众所周知，现在有这么多的参数，其量之大远超于任何数学家和统计学家过去所能接触到的内容。我认为这将是数学和统计学的新纪元。我认为这将产生深远影响，因为对于任何科技来说，一旦你触摸到了数学和物理的基本原理，你就可以更加深入地拓展它。以蒸汽机为例，两百五十年前，英国人詹姆斯·瓦特发明了蒸汽机。它改变了整个社会，因为它解放了人类生产力。人们用了数十年了解热力学原理，去理解蒸汽机如何工作，以及如何优化其使用效能。在此后一百年里，人们据此原理创造出了一个全新的工业时代，出现了能够创造数百万社会财富的火车等交通工具，工厂也因此更新换代…这原本只是科技动能的转换，但经过人们对此的多年认知和了解后，它最终引领了整个社会的未来发展方向。所以我们现在处于一个非常初期的阶段。这是我们的第一步，我们刚刚开始试图阐释其复杂性，目前这是非常令人激动的，这个时间段里，大量的前期研究正在被验证。不仅仅是在应用层面，这也将试图让人们去理解大脑本身，去理解我们自己的大脑是如何工作的。我们认为，在AI与神经科学之间的合作上，存在着一些令人激动的研究方向。经济观察网：您提到很多一次，深度学习不是“黑盒子”是可以解释，您的意思是美国已经找到了深度学习可解释的方法或者说找到了实现这个目标的数学工具？特伦斯：是的,我们确实有这方面的理论了。数学家已经有很多相关的研究进展了，但是内容还没有被发表出来。但是我跟他们交流过，他们告诉我这些伟大的研究和发现在未来将不断被推进。我现在还不能私下跟你透露任何细节，但是我可以这么说，这或将是一个革命性的研究。一旦这些数学家掌握了深度学习的规则，以及这些深度学习是如何发生的，它将成为一个改革性的事件，它将创造出数学模型中的一页新篇章。总而言之，我的答案是肯定的，我们已经对此有了相当多的了解，但同时它还在不断发展中。

素材(1400字)

1. terry-sejnowski介绍．UpClosed.com[引用日期2018-12-14]

2. 特伦斯·谢诺夫斯基简介．索尔克研究所[引用日期2018-12-11]

3. 院士名单．美国国家科学院[引用日期2018-12-11]

4. 2011年院士名单．美国国家工程院[引用日期2018-12-11]

5. 成员名单．美国国家艺术与学科学院[引用日期2018-12-11]

6. 成员名单．美国国家物理学院[引用日期2018-12-11]

7. Terrence_Sejnowski简介．ETHW[引用日期2018-12-13]

8. the most popular online course teaches you tolearn．纽约时报[引用日期2018-12-13]

9. 深度学习．MIT出版社[引用日期2018-12-11]

10. 成员名单．美国发明家学院[引用日期2018-12-11]

11. 词条统计：浏览1953次，编辑2次历史版本，最近更新：格斗天王2046 (2018-12-31)，突出贡献榜：jiangyiming322. 特伦斯·谢诺夫斯基. [EB/OL], baike,baike.baidu.com/item/特伦斯·谢诺…, visit date: 2019-07-31Wed

12. salk. Terrence Sejnowski. [EB/OL], salk,www.salk.edu/scientist/t…, visit date: 2019-07-31Wed

13. Terry Sejnowski. [EB/OL], peoplepill, peoplepill.com/people/terr…, visit date:2019-07-31Wed

14. reallocing. 深度学习的可解释性|Class Activation Mapping(CAM). [EB/OL],www.jianshu.com/p/3c4aa73fd…, 2019-02-14 15:29* 字数 537, visit date: 2019-07-31Wed

15. 观察者网.美国“四院院士”特伦斯谈人工智能“瓶颈”：远未达极限，数学家已经有了实现AI可解释性的理论工具. [EB/OL],凤凰网,finance.ifeng.com/c/7obWxA8jT…, 算法与数学之美, mp.weixin.qq.com/s/Eh70INWf0…, 2019-07-30, visit date:2019-07-31Wed