基于人工智能视觉芯的高速公路交通事故预警预测方案

2018年4月12日，由北京千方科技股份有限公司承办的“中国人工智能+交通发展论坛”在北京朗丽兹酒店隆重召开。公安部交通管理科学研究所领域首席研究员、国家工程实验室副主任姜良维发表主题为《基于人工智能视觉芯的高速公路交通事故预警预测方案》的演讲。

以下内容节选自现场实录。

一、人工智能视觉芯

如果说刚刚过去的2017年是人工智能概念普及年，那么2018年应该是人工智能落地应用年。

如果说刚刚过去的2017年是人工智能概念普及年，那么2018年应该是人工智能落地应用年。

众所周知，驱动人工智能发展的四要素是“数据，算法，计算力，场景”。

对于我们交通人来说，数据不缺，场景丰富，但缺实用高效的算法，缺高性价比的计算力。而算法又与计算力密切相关，计算力对人工智能的发展和繁荣发挥了十分重要的作用，让我们跨进了群雄争霸的人工智能处理器“芯”(新)时代。

人工智能深度学习特殊性，通用处理器很难胜任，这或许是在人工智能芯片中很少提及英特尔公司的中央处理器CPU(Central Processing Unit)原因。造就了美国英伟达公司的图形处理器GPU( Graphics Processing Unit)，美国谷歌公司的张量处理器TPU(Tensor Processing Unit)，美国微软公司的全息处理器HPU(Holographic Processing Unit)，中国地平线公司的人脑处理器BPU(Brain Processing Unit)，华为海思公司的神经网络处理器NPU(Neural-Network Processing Unit)，还有不少厂家的深度学习处理器DPU(Deep-Learning Processing Unit)，等等。

GPU-TPU-HPU-BPU-NPU-DPU，这些人工智能处理器让人眼花缭乱，正在以一种前所未有的速度颠覆传统思维，我把用于视频领域的人工智能处理器芯片称之为人工智能视觉芯。原因是，对我们交通应用来说，人工智能处理器芯片更多的是视觉场景感知、目标行为识别，需要软件和硬件的功能融合，所以计算力应十分强大，而且芯片的功耗一定要小，应用算法嵌入应灵活方便，芯片成本更不能太高，否则影响交通产品的推广普及。核心是人工智能视觉芯的性价比得高。能满足上述要求的人工智能视觉芯不多。

在这个方面，我们中国企业一直在努力实现弯道超车。中国首款全球领先的嵌入式人工智能视觉芯已实现量产，可实时处理1080p30帧视频，每帧中可同时对行人、机动车、非机动车、车道线、交通标志牌、红绿灯等200多个目标进行检测、跟踪、识别，典型功耗1.5W，每帧延时小于30ms。

大家都清楚，交通行业AI+很热，现有蛋糕也很大，未来期望值更高。因此，交通行业的人工智能视觉芯更应具备全天候的像素级感知、不确定目标的特征识别、复杂场景中异常行为的认知理解等能力。

二、高速公路事故形态

当前，我国高速公路通车里程已位居世界首位，为我国经济社会快速发展做出了重要贡献。然而，我国高速公路交通事故率是普通公路的300%。近三年来，我国高速公路一次死亡10人以上特大交通事故维持在4起，主要的事故形态是失控碰撞。

典型事故如:2017年8月10日23点30分，豫C88858宇通牌大型普通客车在西汉高速秦岭1号隧道南口碰撞隧道口外右侧端墙，造成36人死亡；2017年7月6日13时30分，粤VV1351大客车在广河高速一上坡弯道处，因路滑失控碰撞道路中央隔离带后侧翻，造成19人死亡；2016年9月24日20时07分，蒙E80229号解放牌重型半挂牵引车，牵引黑B3246挂号重型仓栅式半挂车，与路上的马匹相撞后失控，越过中央隔离带冲入对向车道，与蒙D39718号宇通牌大型客车相撞，造成12人死亡。

究其原因，与国外相比，我国高速公路通行环境更加复杂、交通安全隐患更加多样。面对日益延伸的高速公路和不断增加机动车，只有强化通行车辆的全天候管控、实施交通事故黑点的全方位预警，才能从源头上确保“保安全、保畅通、降事故”目标得到圆满实现。

2017年10月27日15时20分，京哈高速公路哈尔滨方向273公里加610米处，三辆小型轿车在躲避闯入高速公路的三只羊时发生了连环追尾事故，且就在三辆轿车上的人员下车查看情况时，一辆货车冲进了事故现场，继而发生了二次交通事故，当场造成2人死亡2人重伤。

从这二起事故中，我们清醒认识到，高速公路行车环境复杂，一旦发生高速公路交通事故，务必按照道路交通安全法的要求进行预警；虽然产生事故的直接原因是闯入高速公路的三只羊，但事故后面也存在高速公路路面监管不到位、事故现场处置不准确、后方告示不及时等问题。只有从源头上实现交通环境的全天候感知、交通行为的多维度识别、交通隐患的精细化预警，才能避免发生类似三只羊闯入高速公路而导致的重大交通事故。

三、高速预警预测方案

面对事故，2018年春运会议上公安部领导要求，“要更加注重大数据、人工智能应用，改革、改进传统交通管理工作，让决策更科学、管理更智能、指挥更精准”；“十三五”公安部创新专项规划中提出，“开展风险干预技术集成应用，实现重特大事故的主动监测与防控”； 2017年发布的《国务院关于印发新一代人工智能发展规划的通知》中明确，“研发复杂场景下的多维交通信息综合大数据应用平台，实现智能化交通疏导和综合运行协调指挥，促进人工智能在公共安全领域的深度应用，推动构建公共安全智能化监测预警与控制体系”。因此， 预计在未来几年内，人工智能将推动我国公安交通安全执法领域的技术变革，我们应尽早介入、尽早实践、尽早收效。

(一)预期目标

针对高速公路复杂通行条件和恶劣行车环境下安全行车问题，研究基于人工智能视觉芯的高速公路行车环境全息感知、基于深度学习的机动车通行行为精准识别、基于声光电的交通隐患即时预警等技术，研制具有高速公路交通事故预警预测的新型交通监控设备，在交通违法易发路段、交通隐患频现部位示范应用，解决复杂交通场景下路况全息感知、行为智能识别、隐患精准预警等难题，构建重大交通事故的“综合评估、提前预警、即时干预与快速处置”技术体系，保障机动车安全有序通行。

(二)主要任务

• 基于人工智能视觉芯的高速公路行车环境全息感知技术

针对当前交通监控设备视野场景局限、夜间视频图像清晰度不足等问题，研究人工智能视觉处理器芯片集成与应用技术，研发基于人工智能视觉芯片的高速公路行车环境全息感知设备，解决高速公路大场景和低照度环境下全天候感知高速运动目标和高清晰场景成像等难题，为复杂交通行为分类理解奠定基础。

• 基于深度学习的机动车通行行为精准识别技术

针对当前高速公路交通行为分类不细、识别不准等问题，研究大场景视频中运动目标检测跟踪与特征识别技术，开发基于深度学习的机动车通行行为精准识别软件，并将该软件直接嵌入到高速公路行车环境全息感知设备中，实现对跟车过近、违法变道、超速行驶、违法停车、逆向行车、占用应急车道、不规定车道行驶等交通行为的分类理解，为交通隐患预警提供依据。

• 基于声光电的交通隐患即时预警技术

针对当前高速公路交通事故现场预警手段不健全、警示信息发布不及时等问题，依据交通监视场景中的通行车辆行为特征，研究复杂场景下交通信息分类处理、交通隐患精准发布等技术，研制基于声光电的交通隐患即时预警设备，在特殊交通路段和交通事故现场的前方后方，以声光电方式警示通行车辆，实现交通事故风险的防控。

• 高速公路交通事故预警预测技术集成

针对高速公路复杂通行条件和恶劣行车环境下安全行车问题，集成基于人工智能视觉芯的高速公路行车环境全息感知设备、基于声光电的交通隐患即时预警设备，形成具有高速公路交通事故预警预测的新型交通监控设备，构建基于人工智能视觉的高速公路交通事故预警预测技术体系，在交通违法易发路段、交通隐患频现部位示范应用，保障机动车安全、有序通行。

(三)关键难题

高速公路行车速度快、通行流量大、部分路段行车环境恶劣。

全息感知大场景大流量下的高速公路行车环境，不仅面临成像视野空间与车辆行为特征大小之间的矛盾，而且还面临高速公路日夜环境照度变化带来的图像清晰度不稳定问题；

在交通监控设备中嵌入人工智能视觉处理器芯，不仅需要解决整机运行效率与低功耗之间的矛盾，而且还要解决野外工作环境下电压不稳与昼夜温差大带来的可靠性问题；

在运动目标检测跟踪方面，不仅需要解决大小车辆之间相互影响问题，而且还要解决交通行为分类理解与车辆特征精准识别难题；

在交通隐患预警方面，不仅需要提升车内驾驶人员对声光电警示的适配性，而且还要提高实际隐患点与告示点之间的有效性；

在集成应用方面，不仅需要解决交通监控设备的智能化问题，而且还要解决交通事故预警预测难题。

 (四)实现方法

1.高速公路行车环境全息感知

利用具有人工智能处理特性的智能芯片与交通视频监控设备集成，基于嵌入式环境下高度优化的深度学习算法解决高速公路大场景和低照度环境下全天候感知高速运动目标和高清晰场景成像问题，为交通行为分类理解获取稳定可靠的车辆行为特征。

2.机动车通行行为精准识别

基于深度学习算法提炼车辆的辨识特征和运动特征，并利用这些特征对车辆的通行行为进行分类识别。利用海量交通视频数据，针对跟车过近、违法变道、长期骑行等具有交通隐患的通行行为进行学习和训练，实现对此类型交通行为的精准识别。

3.交通隐患定位与预警

在车流感知的基础上，基于车流状态、车流中车辆的通行行为识别结果以及特定天气条件检测结果等，对车流的交通安全风险进行分级分类，根据交通隐患轻重等级对其进行预测定位，并在特殊交通路段、交通事故现场或是灾害性天气路段的前方后方，以声光电等形式进行定向预警和告知。

4.交通事故预警预测技术集成

集成基于人工智能视觉芯的高速公路行车环境全息感知设备、基于深度学习的通行机动车交通行为精准识别软件、基于声光电的交通隐患即时预警设备，形成完整的具有高速公路交通事故预警预测的新型交通监控设备，构建基于视觉人工智能的高速公路交通事故预警预测技术体系。

5.示范应用

通过文字警示语提醒车辆安全有序通行，实现常态下警示功能；一旦前方有交通事故发生，交通隐患即时预警设备启动警报声音，告知进入交通违法易发路段的通行车辆前方有交通事故，实现事故下预警功能；依据通行车流特征和周边环境感知结果，实现交通违法易发路段的交通行为预警预测功能；在车辆行进的前方告知已经发生的交通违法行为，达到交通违法警示目的。

 (五)核心技术

1.人工智能视觉处理器芯片集成技术

高速公路大场景中环境动态复杂、车辆目标众多、行为识别困难，对交通监控设备的计算处理能力提出了苛刻的要求，需要重点研究权衡处理器性能、功耗、芯片可嵌入性、代码可移植性等芯片性能指标，并支持深度学习硬件快速处理的视频分析、目标检测和行为识别功能。

2.大场景视频中运动目标检测跟踪技术

高速公路环境高度动态，时而通畅、时而拥堵、时而发生事故，并叠加天气、光照、车辆的通行行为等因素，产生车辆辨识度差、车辆间相互遮挡等情况，对车辆目标的检测跟踪和行为识别提出巨大的挑战，如何在高速公路大场景视频中同时检测跟踪多个车道的几辆、几十辆乃至上百辆的车辆目标，并对其中随意变更车道、不按规定车道行驶等具有事故隐患的交通违法行为进行重点监测和识别。

3.复杂场景下交通隐患精准发布技术

高速公路距离远、封闭性强，发生交通事故等隐患影响范围广、持续时间长。在交通事故发生前或者发生初期进行预警预测、隐患告知，势必能够减少交通隐患的影响，提高交通事故的风险防控能力。核心是在复杂的交通环境中准确预测交通隐患风险、定位交通事故位置，并对特殊交通路段和交通事故现场的前方后方进行交通隐患的精准发布。

四、 思考与建议

对高速公路通行车辆进行全方位、多角度监测，是国内外交通管理领域通常做法，准确有效记录通行车辆运动行为也是实现路面车辆科学化管理的必然要求。

随着大数据和人工智能等新技术发展，在交通监控设备中直接嵌入人工智能视觉芯是国内外技术发展的必然选择。目前高速公路难以实现大场景夜间补光，也经常遇到浓雾、团雾等恶劣天气，目前基于高清视频成像的交通监控设备不仅功能单一，而且图像清晰度不稳定，国内外相关公司都在致力于改善交通监控图像品质。

嵌入人工智能视觉芯的交通监控设备，将集高清晰成像、全天候感知、多维度识别、精细化预警等功能于一体，将本质上改变交通监控设备的内涵，为解决复杂交通场景下高速公路路况全息感知、行为智能识别、隐患精准预警提供条件。