车主因眼睛小被自动驾驶误判?——智能座舱CV体验的经典corner case剖析 by 资深AI产品经理@方舟...

前言：最近两天，“车主因眼睛小被自动驾驶误判”冲上热搜、顺势破圈，而咱们“AI产品经理大本营”微信群里，不仅有很多PM在激烈讨论，还有一位智能座舱CV领域的资深AI产品经理@方舟，用心分享了自己的一线实战心得。关于这个问题，本文可能是目前全网最具实战价值的产品视角干货了。

大家好，我是方舟。前天突然发酵的一个热搜引爆朋友圈——“车主因眼睛小被自动驾驶误判”。由于智能座舱的DMS（驾驶员监控系统，driver monitoring system）恰好也是我的工作研究范围，今天特别想就聊一聊相关的一些问题，比如

• “识别小眼睛”到底难不难？

• 有没更好办法判别“司机疲劳”？

• DMS到底是不是刚需？

1

话题破圈

小鹏汽车CEO何小鹏转发了一个用户对DMS的吐槽：

这个话题在AI产品经理大本营的微信群内迅速升温（相关聊天精华详见：https://shimo.im/docs/uMOIisCTj6wriojs ）

作为从业者，DMS是我们耳熟能详的名词，不过由于当前量产车的搭载率和使用率并不高，所以对普通老百姓而言，DMS仍是一个陌生功能。这次事件以“小眼睛误识别”作为爆点，让DMS乃至智能座舱应用都得到了破圈的关注度，对智能汽车行业可能也是好事。

接下来，结合个人对DMS产品的设计和落地经验，我从不同的角度浅谈一下相关体会和思考。

2

“识别小眼睛”到底难不难？

小眼睛的司机被DMS系统误检为闭眼，看似是一个荒唐的corner case，实际上确实是业界难题。这里不仅有算法模型本身的难度，同时还有硬件和策略问题。

1、硬件问题

1）摄像头

目前汽车舱内摄像头的像素，完全无法和手机的相比。

目前消费级的手机摄像头，像素1000W都算低的，但市面上已稳定量产的车内摄像头，像素超过100W都很难；最新待量产或者少量刚刚上市的最新DMS摄像头，像素普遍200W。

“像素少”带来的后果就是，能够给AI提供的信息输入源就少，这样，就会带来算法难度和算力需求的提升。

上图中聊天记录中，小鹏内部人员所说“眼睛占用像素太小了”，也正是这个意思。车内摄像头像素本来就很弱了，眼睛再要小到像李荣浩一样的话，确实有点难为AI不是。

除此之外，某些“座舱内饰设计”导致摄像头安装位置不理想，或者“驾驶员眼镜度数较高”导致眼部关键点偏移等，这些不可抗的外部因素，都有可能带来原子能力的识别异常。

座舱内摄像头的成像质量、预处理能力、像素值提高，有待整个产业链一起努力（包括camera sensor、lens、isp厂家等）；按照盖世汽车的结论，到2025年，舱内摄像头的像素目标会奔向500W（这个结论，也基本上与国外相关研究机构的报告吻合）。

2）芯片

除了摄像头硬件，DMS功能也依赖座舱域算力硬件，也就是芯片。

当前智能座舱的应用程序五花八门、琳琅满目，但座舱域控制器芯片的算力却还远不如手机，几年前DMS刚上车的时候，高通820A或者瑞萨等已经算比较好的芯片，但是匀给DMS功能的算力，有的还不到1K Dmips，虽然现在随着8155以及后续8295的快速迭代和上车，算力问题稍有改善，但其他需要大量算力的应用（如地图渲染、全车语音等）也会有越来越多的增量算力诉求，就好像有一块大蛋糕，需要各个模块battle来分。有过AI开发经验的人都明白一个道理，抛开算力谈性能，和抛开剂量谈疗效是一个道理。

3）智能汽车的前装模式限制了改装的便捷性

汽车不像电脑，游戏太卡就加装个GPU，再综合考虑到各种硬件的车规级要求，以及功能安全等复杂的开发流程，很难在已量产的功能上进行硬件叠加，特别DMS这种保命功能，涉及到汽车安全性，需要严密的测试和质量流程。

2、策略问题

汽车DMS功能和人体生理疲劳的研究，是欧美国家最先开始的。他们发现，在人的所有面部信息当中，与疲劳相对关联性比较高的特征是眼部特征，例如闭眼、眨眼频率、眼部开合度（perclos）等。

欧美人种眼睛天生又圆又大（小眼睛情况非常罕见），如果基于perclos方法的定义来判断，大多数欧美人都能够有比较均衡的眼部开合度情况，实操下来可能效果还行。

但是，这类研究结论生搬硬套到中国后，出现了水土不服：亚太人种中，小眼睛占比高，文中所提到的corner case就会更加常见。可以说，类似的corner case看似是一个戏虐的意外，但在我们实际工作中（特别是国产车、日韩系车等），几乎是每个交付案例中都会遇到和需要解释的情况（李荣浩每次躺枪，每次都拿他举例）。

因此，通常在国内量产车的业务实现中，对于眼睛小到一定程度的驾驶员，我们往往会在策略中进行定向过滤，这是对当前业界算法能力和硬件条件下的一种妥协权衡。

总的而言，DMS对小眼睛的识别效果确实是一个业界难题。基于我自己以往的研究和交付经验，虽然小鹏明确表示要优化这个问题，但是要从原子能力层面彻底根治这个corner case，肯定还需要较长的时间以及行业共同努力。但是在业务策略层面，优化对于小眼睛人群的DMS使用体验，相信能够很快出一套应急方案。

3

有没更好办法判别“司机疲劳”？

为了解决驾驶过程中的司机疲劳判断，过去几十年，国内外学术界和产业界都做了非常多的研究和尝试。研究方向大体可以分为三类：基于车辆信息（车控）、基于生物传感信息（心率、血压、脑电波等）、基于视觉传感器（人体面部特征）。

除了基于视觉摄像头的DMS系统之外，国外也有很多车企是将车辆的动态数据作为判断驾驶员分心和疲劳判定依据（比如宝马、大众、奥迪等），并且，人家是几十年前就开始做这样的尝试了。但是，正如大家目前所感受到的，在行车运动场景下准确的判断驾驶员的实时状态，在全球范围内，我们依然找不出任何一款车做的有多好。

对人体疲劳生理研究稍有了解的朋友可能会问，很多研究机构用脑电波研究人体疲劳，是否可以采用到汽车的DMS系统中呢？

诚然，“脑电波”被认为是与疲劳关联性的“金指标”，很多医学机构或者研究机构，会用脑电波的监测仪器来监测人体的生理状态，也有一些DMS检测中心，会用脑电波来校准测试驾驶员的状态。但是，相应的仪器价格昂贵（如果还要满足车规，成本只会更贵），这样的设备放在量产车中，从成本上考虑不现实。

当前，大众对DMS功能接受程度普遍不高，不会有多少消费者愿意为此增加购车成本。因此，基于脑电波的DMS疲劳研究，目前也仅存在于学术研究机构中。

除此之外，基于方向盘嵌入芯片检测人体阻抗、基于OMS摄像头的PPG原理检测心率等各种脑洞方法，都有人一本正经的研究过。那在量产车上，为何仍没有产出更有效的监测方案呢？一句话概括就是：综合成本、安全性、稳定性、座舱内饰、整车工程等各种角度的考虑，这些idea暂时都无法有效落地。所以目前看，国内外DMS的研究方向，似乎都殊途同归、走向了舱内摄像头。

当然，DMS领域也不会止步不前，无论OEM还是Tier 1 都在想着各种方法。有一些专家希望把车控、生理特征、面部特征等相关的各种因素融合在一起综合判断；理论上，当特征集足够大时，单一特征对整体结果的影响权重就会降低，这样即使某个驾驶员在单一特征有异常识别状态，基于所有特征的校准后，也可以得到相对稳定的结果。

另外再多分享下，目前DMS功能有以下两个特别明显的趋势：趋势一 ，DMS与OMS融合为座舱监控系统，为座舱多样功能提供技术基础。趋势二 ，车内外视觉与其他传感数据融合，车内外安全一体化。

4

DMS到底是不是刚需？

可以明确的是，在智能汽车浪潮中，DMS的刚需程度将会越来越强（无论从法规层面还是需求层面）。

DMS的强制准入法规，在欧洲已立法通过（国内还没有），驾驶员检测系统行业标准在欧洲执行的更为激进。在智能汽车行业中，中国往往会紧跟欧标和联合国规范的步调，不出意外，我国DMS功能的强制性上车只会是时间问题。

2021年，推荐性国家标准《驾驶员注意力监测系统性能要求及试验方法》，由汽标委智能网联汽车分标委完成审查；该标准主要对“基于视觉识别的驾驶员注意力监测系统”提出了明确的技术要求及测试方法。

2022年4月，作为中国最具影响力的第三方测评规程，CNCAP（中国新车评价规程）发布了2022-2028路线图，并计划于2025年版本中，增加驾驶员监测功能的测试要求，以加速驾驶员监测功能的普及。

另外，欧盟EU-771法规，将驾驶员疲劳分为9个等级、并要求系统应具备识别7级及以上疲劳状态的能力。该法规计划于2022年7月配合EU 2019/2144实施，并将要求欧盟上市车辆具备驾驶员疲劳监测的功能。和国内标准相比，欧盟发布的EU-771法规测试方法更偏向于主观测试。

在业务层面，随着高级辅助驾驶在智能汽车中的逐步渗透（甚至到自动驾驶的落地），对驾驶员甚至乘客的监控要求都会适时发生变化。在这个产业浪潮递进的过程中，DMS可能会陪伴智能汽车度过好几十年。

很多互联网出身的产品经理，在新产品中经常喜欢谈论“创新”和“价值”，但是在汽车产业中，除了以上两点，还有一个更重要的就是“底线”——DMS产品就是一个典型的以“底线”为前提的产品，首先守住安全的“底线”，才能谈论体验上的“创新”和“价值”。

5

写在最后

这次“小眼睛误识别”事件，既是DMS模块一个典型的corner case，也是整个智能汽车产业现阶段疑难问题的一个缩影。

对我个人而言，看到自己正在做的事情破圈到大众视野中，我是非常兴奋和激动的；同时也非常确信，在这个产业链中各个玩家的努力下，一个又一个corner case都将被一一解决。

最后，我突然想到前几天一位同行说的话：当下这个行业，很多人都在做创新，但是这其中，也有很多人在做无效创新；当基本问题、基本体验都还没解决好的情况下，对消费者而言，是否需要更多的创新呢？

我希望我会一直带着这个问题投入到行业探索中。

ps，希望和作者直接交流的朋友，可以关注其公众号——

以上内容，来自知识星球“AI产品经理大本营”，识别下图二维码，即可加入。

下面，是hanniman读者们的专属福利时间啦——

----39个近期AI产品经理JD（可内推）----

【投递简历方式】

直接加我微信号（hanniman721）沟通，备注请写：“求职-姓名-职位编号”，例如“求职-张三-G5-001”。

【覆盖城市】

8个：北京、上海、杭州、苏州、深圳、广州、成都、武汉。

【近期重点新增JD in 北京】

1）G23，北京，某创业板上市公司，Iot PaaS产品总监

负责IoT平台及IoT APP产品的迭代工作，需要带团队。

要求：必须有Iot相关经验，5年以上产品经验，英语要熟练。

2）G24，北京，某独角兽公司，云服务产品高级总监

负责公司云平台基础服务建设（大数据服务|OTA服务、知识库服务等）以及相关SAAS云服务（运维服务、运营服务、培训服务、开放平台等）产品的全生命周期；带6-10人。

要求：5-8年以上互联网产品工作经验，3年TOB　SAAS产品｜IOT服务、TOC用户服务平台、售后运维系统等相关工作经验。

3）G25，北京，某纳斯达克上市公司，云原生产品经理Leader

负责内部云产品方向（包括但不限于容器、DevOps、多租户、CI/CD、运维自动化、监控分析、服务治理、分布式计算、数据库和存储等）产品设计工作，带11～20人。

要求：了解云原生、云计算、大数据相关技术领域，有相关经验者优先；具备一定的英语阅读能力，能够使用英语进行工作交流。

4）G18，北京，某AI上市公司，高级产品经理（元宇宙数字人方向）

职责概述：负责元宇宙数字人的产品战略、方向、规划、需求工作，涉及数字人客服/助理/直播/偶像等，以及相关的平台化工具产品。

要求概述：有数字人行业经验优先。有3D游戏、动画、图像视觉、语音交互/多模态交互经验，对模型效果有较好的审美优先。

所有39个JD详情可见

https://shimo.im/sheets/hUL9JPAKxegIm5lo/MODOC （或点击最后的“阅读原文”）

-END-

-- hanniman往期精选 --

一、AI产品分析

【重点】大B公司自己做AI，都是九死一生——To B AI 平台的1.0 模式，已几乎宣告失败？

【重点】AI产品方法论之“由用户来完成AI产品设计的最后一公里”

【重点】如何从“品类”角度做AI产品（2C）的需求定位

【重点】大B公司自己做AI，都是九死一生——To B AI 平台的1.0 模式，已几乎宣告失败？

【重点】产品视角看智能客服

【重点】一文了解四足机器人

【重点】智能音箱上的语音技能市场，能否对标手机上的应用市场？

【重点】AI产品经理视角下的AI翻译机 in 旅游场景

【重点】进击的人工智能：产品视角解析“对话机器人”

【重点】如何从零开始搭建智能外呼系统

一文了解“教育+AI”方向通识（场景、产品、公司、商业模式、短期风险及机会）

二、AI产品经理

【重点】重磅发布：《AI产品经理的实操手册（2021版）——AI产品经理大本营的4年1000篇干货合辑》（PDF）

【重点】正式介绍“AI产品经理大本营”

【重点】人工智能产品经理的新起点（200页PPT）（注：后台回复“200”，可获取PPT下载链接）

【重点】AI产品经理的定义和分类

【重点】AI产品经理的价值和未来| 学习俞军老师分享有感

【重点】最新AI产品经理求职动态：卡年龄、卡学历，这么卷，怎么办？_2022年3月

AI产品经理能力模型的重点素质：人文素养和灵魂境界

最新“AI产品经理”求职动态及建议

深度报告| AI新职位“人工智能训练师”

三、AI技术

【重点】AI产品经理需要了解的语音交互评价指标

【重点】语音合成TTS| AI产品经理需要了解的AI技术概念

【重点】一文看懂“语音识别ASR” | AI产品经理需要了解的AI技术概念

【重点】值得收藏| 关于机器学习，这可能是目前最全面最无痛的入门路径和资源！

【重点】用最通俗语言来聊聊“什么是机器学习”

【重点】DIY面试题 for AI产品经理 | “智能音箱半夜诡异笑声”的原因分析及建议方案

【重点】“AI芯片”通识_AI产品经理看这一篇就够了

【重点】人脸识别产品设计，AI产品经理需要了解的实战干货都在这里了_团员分享_@阳春柏樰

【重点】一文看懂“声纹识别VPR” | AI产品经理需要了解的AI技术概念_团员分享_@cony

NLP基本功-文本相似度| AI产品经理需要了解的AI技术通识

看AI产品经理如何介绍“计算机视觉”（基于实战经验和案例）

人脸识别| AI产品经理需要了解的CV通识（二）

多目标跟踪| AI产品经理需要了解的CV通识（三）

填槽与多轮对话| AI产品经理需要了解的AI技术概念

AI产品经理需要了解的数据标注工作入门

语音识别类产品的分类及应用场景

四、AI行业及个人成长

【重点】现在的BAT，就是曾经的外企

【重点】【深度】工作5年以上，到底要不要进AI创业公司？

【重点】深度| 人工智能让我们失业？不，这取决于我们自己

【重点】我们还没准备好和AI共生——柯洁和AlphaGo大战之观后感

【重点】AI产品经理视角下的V2X、车联网和自动驾驶

如何成长为高顶级产品经理的3个关键点

新技术带来产业格局周期波动的3个阶段（以智能汽车领域为例分析）

“人工智能与法律”对AI产品经理有何实际借鉴意义

稻盛和夫的这些话，是鸡汤还是干货？

跨过这十个误区，提前2年告别职场小白

【重点】如何分辨明师并遇到他| 周日换频道（7）

---------------------

黄钊hanniman，前腾讯产品经理，前图灵机器人-人才战略官/AI产品经理，10年AI背景，13年互联网经验；垂直于“AI产品经理”的第一社群（知识星球“AI产品经理大本营”，已运营5年）和第一自媒体（微信公众号/知乎ID“hanniman”，已运营8年）；作品有《AI产品经理的实操手册》（AI产品经理大本营的4年1000篇干货合辑）、200页PPT《人工智能产品经理的新起点》。