清华大学邓志东：自动驾驶的“感”与“知” - 挑战与机遇（附视频）

不到现场，照样看最干货的学术报告！

嗨，大家好。这里是学术报告专栏，读芯术小编不定期挑选并亲自跑会，为大家奉献科技领域最优秀的学术报告，为同学们记录报告干货，并想方设法搞到一手的PPT和现场视频——足够干货，足够新鲜！话不多说，快快看过来，希望这些优秀的青年学者、专家杰青的学术报告 ，能让您在业余时间的知识阅读更有价值。

---

人工智能论坛如今浩如烟海，有硬货、有干货的讲座却百里挑一。“AI未来说·青年学术论坛”系列讲座由中国科学院大学主办，承办单位为中国科学院大学学生会，协办单位为中国科学院计算所研究生会、网络中心研究生会、人工智能学院学生会、化学工程学院学生会、公共政策与管理学院学生会、微电子学院学生会，百度为支持单位，读芯术、PaperWeekly为合作自媒体。“AI未来说·青年学术论坛”第七期“自动驾驶”专场已于2019年7月22日下午在中科院举行。清华大学邓志东教授为大家带来报告《自动驾驶的“感”与“知” - 挑战与机遇》。

邓志东教授全场报告视频

邓志东，清华大学计算机系教授，博士生导师。现为中国自动化学会会士，中国人工智能产业创新联盟专家委主任，第一届科创板咨询委委员，中国自动化学会智能自动化专委会主任，中国自动化学会智能制造专委会副主任，新兴产业百人会专家等。曾任美国华盛顿大学（WashU）客座教授（2001-2003，对方聘用），香港理工大学ResearchAssociate（1996-1997，对方聘用），国家863计划智能机器人主题专家组组长助理（1998－2001），深圳市拓邦电子科技股份有限公司（上市公司）独立董事（2006－2012）等。先后主持973项目一级课题、NSFC重大研究计划重点项目、863计划重点项目、国家重点研发计划课题等科研项目30余项。发表学术论文250余篇，其中被WOS收录85篇，EI收录123篇，参编教材或专著5本。目前的研究方向包括：人工智能（深度神经网络、深度强化学习）、计算神经科学、无人驾驶汽车、先进机器人等。

报告内容：在人工智能、道路交通大数据、高精地图、5G、车联网、边缘计算、云平台、智慧道路以及智慧城市等的合力支撑下，自动驾驶的全球产业生态正在快速形成之中。结合特定细分应用场景，在大数据与大计算能力的支撑下，人工智能正日益成为自动驾驶环境感知、自主导航、信息融合、自主决策等的基础性技术。但目前视觉人工智能只有“感“。不但缺乏举一反三的小样本学习能力，而且不能完成认知水平的理解，也缺乏常识与推理，即不具有所谓的”知“，这就从根本上限制了自动驾驶的产业落地速度与水平。在自动驾驶落地实践中，探索具有理解能力和小样本学习能力的新一代视觉人工智能，突破自动驾驶之“感”与“知“难题，则既是挑战也是机遇。

自动驾驶的“感”与“知” - 挑战与机遇

邓志东老师首先介绍了自动驾驶产业生态已初具规模的现状，以新“四化”趋势（电动化→ 信息化 → 智能化 → 共享化）引入，并引出了自动驾驶如何落地的主题。由于开放式的道路交通环境和形形色色的不遵守交通规则者，使自动驾驶面临的环境具有不确定性和高动态的特点，同时，安全性问题更是自动驾驶发展的黄金标准。自动驾驶要满足绝对的安全性要求，因此，其产品落地非常艰难。此外，自动驾驶生态建设也非常关键。

自动驾驶产业存在跨界融合、链条太长、落地时间太久以及高端人才稀缺等问题，因此产业生态建设正在成为国际竞合的关键。邓志东老师在报告中给出了推动中国自动驾驶生态建设的建议：1）加快5G组网，推动“5G×AI+自动驾驶”建设；2）加快自动驾驶政策法规建设，如：由政府定期发布路测“脱离”报告；3）使自动驾驶投融资活动更趋活跃与多样化，如：孵化风投，多轮融资，战略投资以及科创板上市；4）推动战略合作联盟，如：鼓励新老车企与国内外跨界科技企业结成各种战略创新联盟；5）加强百度构建的世界最大的Apollo开源开放自动驾驶生态建设。

自动驾驶产业的布局分为上游、中游和下游。其中，上游包括车规级全固态激光雷达，自动驾驶芯片及域控制器，自动驾驶操作系统，信息化汽车平台，大数据，边缘计算，云平台，高精地图，V2X（基于5G,NB-IOT/LoRa）等；中游包括主动安全（如AEB），高级智能辅助驾驶，L3量产汽车，L4低速汽车（无人物流、无人末端配送、无人摆渡、无人移动服务/MaaS等），L4量产汽车（RoboTaxi、无人长途货运、无人公交）等；下游包括共享无人货运，共享无人出行，共享MaaS，智能增值服务，自动驾驶远程安全监控与云管端服务，自动驾驶测试基地/小镇，智慧道路，智慧城市等。

然后介绍了SAE（Society of Automotive Engineers）标准中的 L2-L4等级：1）SAE L2是初级自动驾驶，需要随时接管，在驾驶的过程中需要安全和监控驾驶员，不能处理极端、紧急情况下的感知与决策问题；2）SAEL3是中级自动驾驶，需要人辅助，在驾驶过程中仅需要监控驾驶员，可以处理极端与紧急情况下的感知问题，但不能处理决策问题；3）SAE L4是高级自动驾驶，能够自主处理各种极端环境与紧急状况，在驾驶时不需要人类安全员，但限定区域或功能。

此外，自动驾驶产业生态已初具规模还表现为商业模式逐渐明晰，全固态激光雷达与自动驾驶芯片和车规量产成为主要目标，人工智能成为基础技术以及相关的产业支撑。自动驾驶落地的主要瓶颈是环境感知、自主导航与信息融合，归结起来就是感知或者说“感”与“知”的问题，而其核心则是视觉智能。相关的产业支撑包括：人工智能×5G加持的“云边端”，高精（栅格/认知）地图构建的厘米级精度的环境模型，专用车道的开辟以及智慧道路的建设等。

接着邓志东老师介绍了视觉感知智能成为自动驾驶的基础性技术的现状。视觉感知智能主要涉及算法（深度卷积神经网络+GAN+深度强化学习等），大数据（场景大数据、目标大数据、行为意图大数据、驾驶行为决策大数据、驾驶轨迹大数据等），算力（如移动端、边缘端、云端；离线训练深度学习加速器），细分场景（场景/目标/行为意图感知、认知地图与导航、信息融合、自主决策、智能控制等）和垂直整合等5个维度。进而介绍了基于人工智能的创新性算法，主要包括共性关键技术和前沿核心技术。其中，共性关键技术包括：1）深度学习+环境感知；2）深度学习+自主导航；3）深度学习+信息融合；4）深度学习+决策/控制。前沿核心技术包括：1）基于深度学习的目标/行为意图检测与识别；2）基于深度学习的认知地图创建与自主导航；3）基于深度学习的多模态信息融合；4）基于深度强化学习的自主决策、规划与控制。并进一步介绍了相关的应用，如：在环境感知中的应用，包括基于视觉深度学习的道路交通场景语义分割、基于视觉深度学习的道路感知、基于视觉深度学习的交通标识检测与识别、基于视觉深度学习的地面交通标识检测与识别、基于视觉深度学习的障碍物检测与识别以及基于视觉深度学习的行为意图预测等；在自主导航技术中的应用，包括基于视觉深度学习的多模态自主导航等；在信息融合中的应用，包括基于视觉深度学习的多模态信息融合等。

由传统计算机视觉方法、基于数据驱动的视觉深度学习方法和人类视觉能力的对比引入，介绍了目前自动驾驶所取得的主要进展，但同时也指出了自动驾驶落地面临的主要挑战：1）缺乏认知水平的理解能力；2）缺乏知识推理能力；3）缺乏记忆、常识、经验、技巧与知识学习能力；4）缺乏举一反三的小样本学习能力；5）缺乏可解释性以及高层规划、决策与组织能力。

由自动驾驶落地所面临的主要挑战出发，引出了探索具有理解能力的视觉认知智能（Visual Cognition Intelligence, VCI）主题。视觉智能由视觉感知智能和视觉认知智能组成，其中，视觉认知智能是知觉和认知的整体反映，即通过概念的抽象、延伸及基于知识的记忆、学习与推理等获得的可理解性以及进一步获得的可解释性与规划决策等。在阐述视觉认知智能方法时介绍了图卷积神经网络，与以前的方法相比，该方法从特征学习拓展到了知识学习，并介绍了其中的几个重要的概念：1）图卷积神经网络，即在图卷积神经网络架构下，结合概率图模型（知识图谱）抽象、延伸概念，赋以其内涵与外延，关联其关系，以实现认知水平下的理解；2）知识表达，即图卷积神经网络通过学习进行时空递归，获得知识（实例/实体及其关系）的表达、记忆与加载功能；3）无监督神经网络，即以深度学习+无监督学习方式进行实体识别，提升小样本条件下的检测与识别性能；4）知识学习，即语言智能，关键是如何自动从数据中析构出语言模型的实体、关系及其生成式规则，获得学习能力；5）因果/知识推理，即规则+常识+经验。

最后，邓志东老师对所讲的内容进行了总结与概括：1）自动驾驶产业生态正在快速形成之中，AEB、自主泊车、智能舱、L3的MaaS、L4的RoboTaxi等成为全球自动驾驶产业关注的焦点；2）全球估值最高的4大自动驾驶巨头，均聚焦于L4级别的无人驾驶出租车RoboTaxi；3）结合特定细分应用场景，视觉感知智能日益成为自动驾驶环境感知、自主导航、信息融合、自主决策、智能规划与自主学习的基础性技术；4）较之传统的计算机视觉技术，在大数据与大计算能力的支撑下，由监督式深度学习算法获得的视觉感知能力，从检测、分割与识别的角度来看，已更加接近于人类的水平；5）现有的视觉感知智能缺乏认知水平的理解能力，缺乏知识推理能力，缺乏记忆、常识、经验、技巧与知识学习能力，缺乏举一反三的小样本学习能力，因而也无法获得如同人类一样的安全、可靠、可信的自动驾驶能力；6）亟需探索具有理解与知识推理能力等的新一代视觉认知智能理论与方法，以从源头上推动中国自动驾驶产业的创新发展与大规模商业落地应用。更多精彩内容请关注视频分享。

AI未来说*青年学术论坛

第一期 数据挖掘专场

1. 李国杰院士：理性认识人工智能的“头雁”作用

2. 百度熊辉教授：大数据智能化人才管理

3. 清华唐杰教授：网络表示学习理论及应用

4. 瑞莱智慧刘强博士：深度学习时代的个性化推荐

5. 清华柴成亮博士：基于人机协作的数据管理

第二期 自然语言处理专场

1. 中科院张家俊：面向自然语言生成的同步双向推断模型

2. 北邮李蕾：关于自动文本摘要的分析与讨论

3. 百度孙珂：对话技术的产业化应用与问题探讨

4. 阿里谭继伟：基于序列到序列模型的文本摘要及淘宝的实践

5. 哈工大刘一佳：通过句法分析看上下文相关词向量

第三期 计算机视觉专场

1. 北大彭宇新：跨媒体智能分析与应用

2. 清华鲁继文：深度强化学习与视觉内容理解

3. 百度李颖超：百度增强现实技术及应⽤

4. 中科院张士峰：基于深度学习的通用物体检测算法对比探索

5. 港中文李弘扬 ：物体检测最新进展

第四期 语音技术专场

1. 中科院陶建华：语音技术现状与未来

2. 清华大学吴及：音频信号的深度学习处理方法

3. 小米王育军：小爱背后的小米语音技术

4. 百度康永国：AI 时代的百度语音技术

5. 中科院刘斌：基于联合对抗增强训练的鲁棒性端到端语音识别

第五期 量子计算专场

1. 清华大学翟荟：Discovering Quantum Mechanics with Machine Learning

2. 南方科技大学鲁大为：量子计算与人工智能的碰撞

3. 荷兰国家数学和计算机科学中心（CWI）李绎楠：大数据时代下的量子计算

4. 苏黎世联邦理工学院（ETH）杨宇翔：量子精密测量

5. 百度段润尧：量子架构——机遇与挑战

第六期 机器学习专场

1. 中科院张文生：健康医疗大数据时代的认知计算

2. 中科院庄福振：基于知识共享的机器学习算法研究及应用

3. 百度胡晓光：飞桨（PaddlePaddle）核心技术与应用实践

4. 清华大学王奕森：Adversarial Machine Learning: Attack and Defence

5. 南京大学赵申宜：SCOPE - Scalable Composite Optimization for Learning

留言 点赞 发个朋友圈

我们一起分享AI学习与发展的干货

推荐文章阅读

ACL2018论文集50篇解读

EMNLP2017论文集28篇论文解读

2018年AI三大顶会中国学术成果全链接

ACL2017 论文集：34篇解读干货全在这里

10篇AAAI2017经典论文回顾

长按识别二维码可添加关注

读芯君爱你