北大AI公开课第四课--释放大数据原力by英特尔中国研究院院长宋继强

今天接着来扶flag，生活是一个又一个的困局，作为局中人，一定要能快速找到破局点，而行动永远是最佳的打破僵局的手段，所以，行动起来吧！

今天一起来整理第四课，这是来自因特尔中国研究院院长宋继强老师的分享，他主要是基于大数据的原力，讲述如何从软件到硬件各个方面搭配整个系统，整个分享最大的特点在于，他不是局限于算法，硬件部分的知识也会占较大比例，干货满满。

一、课堂回顾

全能型男——宋继强老师

宋继强老师是微软亚洲研究院的院长，于2008年加入英特尔中国研究院任清华大学-英特尔先进移动计算中心应用研发总监，是创造Intel Edison产品原型的核心成员。领导研发了基于Edison的智能设备开发套件来促进Edison技术在创客社区的普及，发明了称为交互式瓷器的新的设备类别。他目前大力推动基于英特尔技术的人工智能技术、智能机器人交互技术和智能基础设施研究，在讲课的过程中，涉及的内容很丰富，也可以看出老师相当全能，身材保持又很好，可以说是一个全能型男。

分享内容

1、当前人工智能发展的重点

每个事物处于不同的发展时期之下，都有其对应的重点。人工智能作为一个存在已久的学科和科学，在现阶段其实也有比较明显的重点，

（1）在应用价值上，当前人工智能比较核心的领域是那些已经积累了大量数据而且应用比较普遍的，比如无人驾驶、健康医疗、交通、零售、金融等。再一次印证了之前提及的，人工智能会率先在一些覆盖面比较广的领域，因为只要训练出一个可行的实际方案，就可以大范围地推而广之，这种效益是可想而知的。好比无人驾驶，只要在一辆汽车的自动驾驶上充分训练可行，就可以布局到千千万万辆汽车上，这是一个十分可期的未来。

（2）算法提高：现阶段在算法的提升上，主要的两个侧重点在于，一方面加能力。开始采用NN+x，也就是常用的深度网络+其它知识模型，弥补现有深度学习模型的不足。另一方面，减资源。人工智能的最终表现不仅仅是算法，更多地还是关注整个系统的表现。所以在部署的时候，可能需要对算法进行模型稀疏化，提取出低精度的CNN，而且不同的成本规划和不同领域对应的芯片选择也不一样。

（3）AI的硬件：芯片的发展可能是我们的弱势，但不可否认，在人工智能到来的时代，也为芯片的创新提供了一个良好的契机，目前国内的通用芯片如CPU、GPU，专用芯片如TPU、以及一些其它芯片如FPGA等，应对不同需求、场景的芯片研发已经渐渐地成为大众的关注点。

2、AI为人类提供价值

（1）关于AI 与人类的对立问题，在几百年内是不会发生的。因为现有的AI 都是人类设计的，所谓的机器智能其实也不过就是人类智能的映射和体现，并不是说，AI已经可以自行创造智能。而且人工智能起作用需要很多客观条件的配合，如电源、芯片以及系统等，如果发现不可控，直接切除这些支持条件不是也万无一失吗？ 所以那些担心AI觉醒，会危机人类自身的言论其实真的是过于杞人忧天了，我们更应该操心的是，怎么让AI智能更强大，可以在更多的方面自主完成决策和执行，节省人力、物力。

（2）AI的通用性短期内不会达到人的智能。人的智能是十分强大的，可以应对很多复杂场景的思考和决策，而且可以强化和迁移，并且因为不同生物体的基因以及环境激发条件不同，人类个体表现出各种不同的智能。而人工智能其实在本质上是基本类似的，其固化度比较高，泛化能力不强，所以想要达到人类的智能水平，可能还需要经过很漫长的路。

（3）人工智能的发展方向。就国内的实际情况而言，人工智能可能先会从这两个方向展开，第一轮是辅助驾驶和自动驾驶。可以发现，基本每一个来讲课的老师都坚信，我们在辅助驾驶和自动驾驶上会获得发展和进步，甚至在未来的3-5年，也就是2020年这样，我们就可以真切地感受到辅助驾驶走进人类的生活，每个人都能享受自动驾驶的便利和高效。第二轮可能是助老智能机器人。对于中国而言，下一个阶段可能面临比较严峻的老龄化问题，而人工智能的出现可能恰好就可以帮助解决这一个问题。所以这也是下一个比较值得期待的方向。就我个人而言，其实对于AI在老龄化问题的解决上也有很多的思考。因为我相信，许多人和我一样，在追求梦想的路上面临父母的照顾和陪伴问题，对于父母的老去，我们无能为力，但是又背负着生活的重担，不能不努力工作。而每天时间和精力都是固定的，所以如果，有一个像我们一样贴心的机器人或者其它什么样人工智能的方式，可以帮助我们更好地在忙于工作的同时给予父母更贴心的照顾，无疑这是父母的福利，也是我们无数儿女的心愿。所以我也会经常去思考，当我的爸妈老了，我希望他们获得怎么样的照顾？我学的专业可以为他们做些什么？什么才是我们的爸妈都用的上的？

3、推动AI走进现实的三大要素

人工智能的概念其实早在50年代的时候就提出了，却在提出之后，经历两次大起大落，却始终没有真正走入人们的生活，这背后的原因值得我们深思。但现在更值得我们去思考的是，为什么2017会成为人工智能爆发的节点，然后持续走热，伴随着很多的应用落地而来，也让我们对于人工智能时代的到来更加笃定和期待。

从某种程度上来讲，经历过互联网时代之后，整个计算机和社会的环境都发生了变化，而这背后，引发AI热潮的主要因素可以归纳为三个：

（1）数据洪流。人工智能的起源其实是基于大数据的规律统计和挖掘，所以可以说，在人工智能的初期，数据是决定性因素，没有数据，也就不可能生成更多具有可用性、精度达标的应用。而联网时代到来之后，基于互联网技术和大环境，产生了大量的数据，比如现在我们的搜索、网页浏览、社交等都是会产生规模巨大的数据的，基于这一点，为“吃数据“的人工智能提供了无数可能。而紧随着接下来的物联网时代的到来，也许生活中大部分的物体都会产生数据，比如冰箱、电视、空调等，无所不在的数据，成为人工智能成长的养料，激发出更多可能。

（2）计算能力。遵循摩尔定律，计算机的计算能力，每一到两年可以实现翻一番，所以当下的计算机计算水平，已经可以帮助深度学习的算法达成计算任务了，也是基于计算能力的达标，所以这些人工智能的算法模型才展现出了相应的威力。过去可能要训练一个深度学习的模型，需要十天半个月，效率极低，而且计算的准确度和精度也如人意。而现在，超快的计算水准，模型训练速度和准确率大幅度提升，也就加剧了深度学习的发力。

（3）算法创新：因为人工智能再一次走红，所以也是获得了更多的关注，也因为这样，算法创新的水平也比过去更高。但就这个问题上，虽然算法创新表面看似增强了，并且如果只从每次各大会议比如CVPR、ICCV等的论文接收和发表，那确实是以一种很快的速度在发展。但实际上，如果我们真的用心去研读这些论文，以我自己的研究方向，计算机视觉弱监督语义分割来说，其实许多的论文发表，只有数量，在质量上真的是不敢恭维，说到底，那些说自己的方法和论文比别人好，大部分都是调参工作做得好，或者是一些不为人知的外力因素的影响。从这一点也可以看出，其实随着人工智能大火，整个学术界和工业界都是很躁动的，能潜下心真正用心做学术研究，在算法和理论上有创新、进步的寥寥无几，虽然我作为一个学生和晚辈，没有资格说什么，肯能也无力改变什么，但这就是目前我看到的现状。

4、AI将从以下几个具体方面直接为人类创造价值

（1）加速：之前雷鸣老师提起过，AI出现的最直接意义，就是替代人类重复性的工作，因为它具有超快的计算能力和超大的记忆能力，基于这一点，AI首先会在很多事情上提高处理的速度。第一个例子，失踪儿童的身份确认和追踪。在寻找失踪儿童问题上，存在一个黄金时期，所以效率是十分重要的。过去依靠人力进行排查其实效率是相当低的，而当人工智能技术出现之后，速度大幅度提升，甚至可以把原来长达30天的追踪流程压缩至1天。第二个例子，大规模图片、视频的处理，比如电商的图片很多，如何快速地分类，如何识别图片或者社交中上传的图片是否侵犯版权，利用AI可以达到4倍或两倍人类的处理速度。第三个例子，在医疗中，利用AI 技术处理巨大的医疗数据，辅助医疗的决策，比如可以通过训练模型找出CT影像中肺部结节的位置及概率。此外，多模态融合及研究会降视觉分析的能力从识别推进到理解。结合图像视频、音频、语言等多个不同模态的学习及融合，可以对它们进行多维度的分析和验证，达到视频转文字、视觉问答以及视觉关系理解等，在这些问题的理解上，也是要基于大量数据的学习，作为先验知识，用到算法新一轮的迭代中。

（2）灵感探索：人工智能技术的到来，也为人类社会的创新带来了无限可能。比如，过去我们针对人脸识别，形成了性别、年龄、微笑检测等比较初期的应用，而接下来则发展到动态表情识别，再接下来还有了建模和增强并进行实时人像风格迁移等脑洞大开的应用。从应用进阶的背后，我们也应当看到技术的动力及其创造的巨大价值。还有一个比较前沿的例子，大家可以去搜索李宇春全球首支MV，结合AI技术也有了更多新奇的玩法，可能在灵感探索上，我们就是要站在AI的肩膀上，不断地眺望，眼睛看不到的地方，就用心去遨游、畅想，伟大的技术催生创新！

注：《今天雨,可是我们在一起》李宇春对粉丝的情感表达,记录了李宇春演唱会上粉丝冒着雨和她一起唱歌时,心中的感动与感激。为了将李宇春歌曲的寓意创新表达,导演选用了不同的情绪场景去展现李宇春的内心世界。使得李宇春心中想表达的很多情绪与画面,都可以通过英特尔3D人脸面部表情捕捉技术完美的贴合在李宇春的面部。这些图案特效不仅仅是艺术家的设计,更是李宇春内心的表达。如果说音乐通过旋律和歌词表达内心,那这支MV则是通过音乐与英特尔人工智能技术的结合,将音乐人内心的情感直接呈现。借助英特尔3D人脸面部表情捕捉技术,音乐的表达方式再一次突破了想象的疆界。

（3）增强：AI 还有一个很直接的作用就是增强人类的能力。第一个例子，在时尚穿戴上，有一种叫做蝴蝶衣的效果，就是走秀的时候，可以借助AI技术，达到蝴蝶在衣服上停留或飞出的感觉，想一想就觉得很酷炫。第二个例子增强现实用在运功穿戴中，提高运动的质量。第三个例子，实时语音翻译，如科大讯飞的翻译机，可随身携带，这样无论走到哪里，再也不用担心语言的障碍了。第四个例子，超感知舞蹈服，可以将音乐节奏变成震动，指示一些听力受损的舞者。这样一看，感觉AI 的未来真的是一片光明，可以帮助人类突破很多的生理局限，获得更为强大的能力。

（4）自动化：从互联网时代过度到人工智能时代，可能整个社会也会从计算机自动化，转变成机器人自动化。从机器感知，到人工智能认知，最后是机械电子进行执行，从各个机器的互联，到智能决策的生成，最后达到机器人的自主行动，这是我们设想中AI会为我们创造的价值。

5、各种服务机器人

（1）从智能到自主，服务机器人将面临的挑战：

a、更多的传感器数据vs实时响应：数据量越来越大，但是也意味着对处理的速度要求更高，能不能实时响应会直接影响用户体验；

b、计算能力的外部支撑：如何搭建更高效可靠的计算系统，除了内置芯片，外在支撑组件也是不可忽略的重要因素；

c、设备端人工智能VS云端人工智能：对于不同的系统或者说是不同需求的功能，要决定把智能决策体放在不同的端。比如，自动驾驶，对于一些障碍物检测识别，就一定要是实时的，必须放在设备端，如果放在云端就有可能出问题了，但是一些路线选择的训练就可以放在云端进行大规模训练之后再加载到应用端也无妨，因为这个允许有一些偏差，但是像障碍物规避，那是基本不允许有延时和误差的。设备端智能和云端智能的配合也是AI布局需要考量的重点，但更多地，随着存储以及计算能力的增强，无论是设备端还是云端，我们都会拥有更多选择和可借鉴的经验。

（2）目前家用机器人现状：

目前市场上其实已经出现了一部分家用机器人，在外观上，可能高度为1米以上，如果用于儿童，则为0.6。而在能力上，基本已经具备了运动能力，可以自主移动、避障、跟随等；交互能力，可以认人、聊天、语音助手、手势识别等；操作能力，有线/无线操作、触摸操作等。从总体上来看，市场的表现不温不火，差强人意。其实按我的理解，我觉得我们要看机器人的普及程度，应该跳出计算机这个专业本身来看，因为我们长期处于这个专业，每天接触的和听到的都是相关的东西，自然不陌生，所以会自然而然地觉得这就是常态。然而事实是，如果有一天，我们回到生长的小山村，连那里面的普通小民众也拥有家用服务机器人，村里的大妈大爷也知道人工智能，我们就可以肯定地说，人工智能时代到来了。而目前，机器人的市场还是局限在儿童教育、娱乐以及家居控制等比较简单的应用场景上，未来可能在老人陪护上发力。注意，这也是老师再一次提及AI对老龄化问题的解决。

（3）引爆养老服务市场需要什么

在养老问题上，AI要想真的发力，需要解决以下几个问题：

a、技术：这是首要的，因为只有突破技术的瓶颈，把部署的成本真正地降下来，才能让这个技术变得普及；

b、产品：降低生产成本，同时保证交互、安全的能力达标；

c、服务：建立全国范围的远程控制和交互体系

仔细来看，这也对应着产品研发的三个过程，首先在售前，我们应当明确，哪一些技术已经达到落地应用的标准，其次在产品的设计中，要提高各项指标，达到更好的用户体验，而在最后，产品上线销售后，完善的售后服务也是必不可少的。

养老服务是一个机遇，但面临的问题也是很多的，解决起来也很困难。以服务来说，如果我们希望为老人提供健康监测以及医疗相关的服务，不仅需要科技的力量，同时还要考虑到打通科技、医疗、健康等多个行业或领域的资源，促成他们的合作，所以没有一定的体量或是政府的支持和推动，推进过程将会相当缓慢而艰难

6、说说芯片

提到芯片，大部分人都是一脸懵逼的。而且据我的了解，计算机或者相关专业的老师和学生中，从事芯片设计和研发的人少之又少。究其原因，可能一方面是因为其对计算机底层原理的知识要求较高，而本科光是学习组成原理就让人震惊到怀疑人生，基于这样的高起点，能进门的都不多。另一方面，芯片研究成本高，而且产出低。芯片的价格都不低，可如果要研究芯片，必然要先看、玩一些芯片，这是个烧钱的过程。而且对于很多人来说，烧完钱就没了下文，所以一般人真的玩不起也等不起。

（1）当前常见的芯片有：CPU、GPU、FPGA、DPU、DSP、BPU、NPU等

其中，CPU专注于计算，而CPU侧重于图像图形，他们是软件编程的通用芯片。而FPGA则是硬件编程，介于ASIC和CPU之间，可实现组合逻辑，为某些应用定制的芯片，但是造价过于昂贵。而ASIC则是在矩阵运算上做了一些文章，提高相应的效率。此外，还有Intel 的类脑结构的芯片：LOIHI，关于LOIHI芯片，宋老师在后面也补充介绍说这是第一款可以自我学习的芯片，致力于加速AI发展，通过放置不同的网络，做不同的区块设计就可以达到不同功能的实现，其训练速度较快，功耗较低，而且具备自主学习进化的能力，没有显式的训练和检测过程。

（2）当前AI硬件的趋势：采用CPU+FPGA/ASIC等，进行多种芯片的异构和组合，达到功能的需求，并且已经由过去的技术主导走向经济主导。我们可以看到，目前市场上的很多芯片在技术上可以完成功能，但其功耗以及成本太高，导致很多企业都用不起，所以放远来看，在技术基本可行之后，下一步芯片市场可能会由经济因素主导，即由最终的性价比来决定。

（3）其实除了以上宋老师提到的各种通用芯片，国内也有一些公司开始致力于深度学习芯片的研究，比如寒武纪、耐能、地平线机器人以及深鉴科技等，他们都从芯片、框架等更为底层的视角助力AI的成长。而基于前不久的中美贸易站以及美国对中兴的禁令，政府也开始意识到芯片研发的重要性，所以国内芯片市场会焕发出新的生机，对芯片感兴趣的同学们真的也可以勇敢地投身于这个方向，用“芯”为中华崛起而编代码，嗯，我是认真的！

后话：

今天在整理笔记的时候，又把视频快速地看了一遍，同时也搜了一些网上的文字记录资料，发现可能笔记的记录不是完全真实地还原，但是，这也是一直以来我的习惯。因为我想，对于每一份资料，每个人的理解和感知都会不一样，也因为过去的知识积累有所不同，所以我们对于知识的期待和盲区也不一样，所以我在整理的时候只是把自己认为重要的，可以填充我的知识盲区的或者是我觉得狠新奇有价值的观点进行记录和提炼，而且因为我喜欢知识结构化，所以有时候前后相似的知识点，我可能会进行一些整合。所以说，每个人想要真正获得知识和有效的经验，永远都要自己动手，去实践、去感受，去记录、去分享，那样到手的东西才会是自己的，否则永远都只是旁观者！

对于宋老师的课，对于想做产品狗的我启发还是很大的。因为他介绍了一些关于AI比较有新意的产品和应用，可能是之前我没有关注的，比如李宇春的MV、蝴蝶衣等，但反过来一想，确实也是这样的，AI高调也内敛，因为威力巨大，所以注定令人惊叹，可是也通过很多不知不觉的手法，AI就已经改变了我们的生活，再次提醒我们，AI产品的创造，敢想才是王道。其次，因为本身一直都是做软件的，所以这次课程也带给我许多芯片方面的知识，这种感觉还是挺美好的。此外，因为老师分享了机器人市场以及对养老服务机器人的观点，这也让我肯定了自己之前的一些思考和认知。很多时候我们都会不自信，但是却会在不断地探索和求知中，不断地验证自己的思考，慢慢变得坚定，但前提是，我们一直思考，独立思考！