车人合一，人机共驾，智能座舱交互技术发展核心技术分享
文章首发来源公号：汽车学堂Automooc
汽车发展距今一百多年，汽车最初是为了满足代步需求，现在，人们希望通过汽车获得更多例如生活、办公、娱乐等丰富体验。智能座舱俨然已经成为了用户移动的第三生活空间。
电动车的兴起后，“软件定义汽车”的概念进入市场，智能座舱与自动还驾驶、智能网联成为被广泛认同的未来发展趋势。未来决定汽车差异的关键将会是软件及软件迭代所带来的性能和功能升级。受限于法律法规和基建发展的制约因素，智能驾驶在很长一段时间段内都将处于L3级别的成熟应用阶段。而智能座舱实现难度较低，用户体验效果明显，智能座舱的商业落地将会是短期内市场关注的重点。
说到智能座舱，汽车是从什么开始有座舱这个概念的？
汽车座舱的发展历程
早期的汽车是一个纯机械产物，从马车演变而来，汽车的初始目标理解只是代步工具。在20世纪初期，汽车形态结构远没有今天复杂，汽车主要引擎、传动系统、悬挂系统+车轮、车身四大部分组成。
座舱？没有，只有坐垫。
▲世界上第一辆汽车，创始人卡尔·本茨
1908年，福特T型车的问世吹响了汽车工业发展的第一声号角。福特创造的流水线工厂真正改变了汽车工业的历史走向，汽车作为一种消费品，开始走进千家万户。汽车产品本身有了进一步发展的空间，福特开启了汽车工业化生产的起点。
▲1906年福特N型敞篷车
这时，汽车内外饰也迎来了发展的黄金时期，为了保证乘车人员的温暖和舒适，汽车开始采用全封闭车厢，内外饰的雏形开始出现。
1987年，博世生产出了汽车磁力发电机点火装置，以此为起点，正式开始了汽车电子化和座舱化的时代。让汽车产品与电子系统有了交集，汽车乘坐舒适性开始成为卖点。
▲图片来源：网络
随后在1915年-1940年期间，博世陆续推出了启动电机、车载喇叭、柴油喷射系统、车载收音机等量产产品，持续完善座舱内车载电器控制功能，座舱内的电子控制系统有了雏形。
在60-90 年代，汽车座舱开始有了今天的雏形。早期座舱信息只服务于驾驶者，显示基本驾驶信息。主要包括机械式仪表盘及车载收音机、对讲机等设备，通过按键控制。可提供的信息只有车速、发动机转速、水温、油量等基本信息 。座舱布局也是照搬飞机中控布局，功能捡漏单一、缺乏交互性。
随着汽车电子技术的发展，汽车座舱进入座舱+电子设备时代。汽车座舱开始加入小尺寸中控液晶显示屏。车内添加了车载导航、蓝牙、媒体播放设备。主要用途：查地图、导航；手机蓝牙或插上U盘听歌。这个阶段，座舱的便利功能主要依靠电子设备“搬”进车内实现。
这个时期的豪华车代表：梅赛德斯奔驰W120的中控屏上，一块细长的黑白点阵屏幕，几十个密密麻麻的按键代表着那个年代的科技感。这一时期，汽车在基础安全之外，汽车慢慢形成了三个高端标签：性能、奢华、科技范儿。
2015年之后，才是现在所说的智能座舱的开始。超大尺寸的中控屏以及全液晶仪表盘开始成为潮流。比如特斯拉在2016年推出的Model 3上，将“化繁为简”做到了极致，连仪表盘上的车辆行驶信息，都集中到了中控屏幕上，几乎取消了中控台上一切实体按键。部分车型开始采用HUD显示、流媒体后视镜等一系列汽车配件电子化的尝试。
随着汽车芯片、人机交互、汽车系统等软硬件技术水平快速迭代，汽车座舱开始全面进入智能化阶段，智能硬件持续拓展及升级，液晶仪表开始取代机械仪表，中控大屏、多屏幕逐渐成为标配，HUD加速推广，座舱娱乐系统不断丰富，导航、游戏、生活类等多个应用逐步搭载在车载系统上，逐渐从物理按键走向完全的触控，而随着语音交互、手势交互、身份特征等多种交互形式的出现，智能座舱已经成为了一个可以移动的生活空间。
智能座舱的主要核心领域
▲根据公开资料整理
座舱域控制器与座舱芯片（SoC）
随着传统汽车的电气化发展，车身需要搭载更多的ECU来实现更多的功能，在集中式E/E架构下，新增的域控制器被集成了更多的功能。域控制器核心算力由车载SoC提供，SoC决定了座舱域控制器的数据承载能力、数据处理速度以及图像渲染能力，从而决定了整个座舱空间内的驾驶体验。座舱对主控芯片算力要求越来越高，传统的车载芯片 MCU在智能座舱的应用上遇到了算力不足、无法兼容的问题。大算力需求助力座舱域控制器芯片由专统MCU向SoC加速迭代。
SoC芯片通常集成中央处理器 (CPU)、图形处理器(GPU)、神经网络单元 (NPU) 等多个处理单元，可满足当前汽车智能化趋势下跨域融合的需求。
目前座舱SoC市场由几家芯片大厂主导
- 传统汽车芯片厂商：恩智浦、瑞萨、德州仪器、意法半导体
- 消费电子芯片厂商：高通、三星、英伟、英特尔、AMD
- 国内大厂：华为、地平线、全志科技、芯驰科技、芯擎科技
座舱域控制器业务规模前五名的公司所占市场份额约为40%
国外主要供应商：伟世通、哈曼、安波福、佛吉亚歌乐、现代摩比斯等
国内主要供应商：德赛西威、东软睿驰、博泰车联网等
操作系统
车载OS是管理和控制智能汽车硬件与软件资源的底层，为上层应用、人机界面、数据连接提供接口和运行环境，车载OS随着车载电子的发展逐渐细化为自动驾驶OS和智能座舱OS，智能座舱OS主要为车载信息娱乐服务以及内人机交互提供控制平台，是汽车实现座舱智能化与多元信息融合的运行环境。
智能座舱OS主要分为与安全相关的操作系统（主要指仪表部分）和娱乐相关的操作系统（主要是中控）。
汽车操作系统按能力深度可以划分为：基础型OS；定制型OS；和ROM型OS
· 基础性OS：
又称底层OS，提供操作系统最基本的功能是智能终端难以绕开的底层研发基础。目前，QNX、Linux、 Android，构成车载操作系统三大阵营，其中QNX占据绝对优势，基础型操作系统市场份额约占43%。
现阶段，主流车企智能座舱OS通用做法是基于虚拟机技术支持多个操作系统，采用QNX+Linux或者是QNX+Android的组合方案。
·定制型OS
由于Linux和Android具备开源的属性，QNX稳定性高，当前大部分企业汽车座舱OS均在QNX、Linux和 Android的基础上定制开发更丰富的上层应用软件。
目前主要为少数头部车企和互联网公司，有实力进行开发。阿里巴巴、华为等国内互联网企业率先开发基于Linux的定制型OS，在此基础上推出独立自研的车载OS内核如AliOS，鸿蒙OS。Alios和鸿蒙OS已搭载在上汽、北汽、吉利、福特部分品牌车型。
除Linux系统之外由于国内安卓的应用生态广泛，且开发成本较低，国内自主品牌和新势力大多基于Android定制汽车操作系统，如比亚迪DiLink，未来NIOOS，小鹏XSmart OS等。
·ROM 型OS
ROM型OS是基于底层操作系统改变应用程序架构、汽车服务、云服务等，未涉及内核修改。大部分主机厂一般都选择开发ROM型操作系统，国外主机厂都选用Linux作为底层操作系统。而传统品牌和新势力为突出自身特色和功能，自行开发车载OS体现产品和用户体验差异性。
车载显示
车载显示座舱智能化的重要载体，是人车交互的入口，包括：中控显示屏、液晶仪表、流媒体后视镜、HUD等，是消费者直观感知的部件，也是车企竞争差异化的焦点部分。
1.HUD（抬头显示）
HUD又称平视显示器，是将车速、油耗、胎压、中控娱乐信息等显示在前挡风玻璃上的系统。能够减少低头观察好仪表的频率，提高驾驶安全性。
HUD 最早作为辅助仪器应用在军用战斗机上，飞行过程中的主要参数、自检测信息通过光学部件投射到飞行员视野正前方的组r合玻璃显示装置上，方便飞行员随时查看飞行信息。1988 年，通用汽车首次将 HUD 装配在汽车上。
HUD系统由投影单元和显示介质两大关键部分组成，投影单元内部的控制单元通过车辆数据总线获取车况、路况导航等信息，并通过投影仪输出图像。
·HUD分类
根据图像生成方式不同，目前运用在HUD的投影技术主要分为：TFT（薄膜晶体）、DLP（数字光处理）、Lcos（硅基液晶）方案。TFT和DLP方案技术成熟度最高，是目前HUD主要投影技术；Lcos方案具备更好的对比度、亮度和分辨率，但是研发成本高，现阶段无法大规模量产。
根据显示方法不同：分为C-HUD 、W-HUD 、AR--HUD，其基本原理都是发出一束光打在玻璃上形成虚象，显示各项行车信息和车辆状况，再经折射、放大、反射后进入人眼。
- HUD因其成本逐步下降，成为当前的主流方案。C-HUD因存在安全问题已经逐步退出市场。AR-HUD（增强现实）能让挡风玻璃上的图像准确叠加在现实世界场景上，随前车、行人、路口变化的实景不断改变成像的位置与大小，提供比 W-HUD 更直观、更丰富、更高效的交互信息和更智能的交互体验。是目前各大车企和供应商重点布局的对象，不少车企陆续宣布在新车种配置AR-HUD产品，如奔驰S级、奥迪E-tron等合资车型；以及一汽红旗EHS9、WEY摩卡、吉利星越L、理想L9等自主车型。
尽管已有AR-HUD 量产上车的案例，但AR-HUD在AR 显示体验将持续提升，进阶版本的 AR-HUD 被称为 Advanced AR-HUD，将继续突破。1)进一步消除图像畸变：继续突破 3D 光场显示技术、虚实实时融合技术、投影单元技术上的不足；2) 定制化属性将更高:在不同车型、同一车型的不同车辆、不同驾驶人员视线位置的情景下通过精准调试实现高精度量产。
·AR-HUD技术难点
技术难点1：对真实世界的感知
目前主机厂通常将HUD归类于智能座舱域，但AR HUD往往需要与自动驾驶域的ADAS数据进行打通，基于车身自有摄像头、激光雷达、毫米波雷达、超声波雷达，以及GPS、差分高精度定位、IMU等诸多传感器数据，实时感知车身运动姿态和外部环境物体姿态，并进行准确识别。
技术难点2：虚拟世界的光场呈现
AR HUD要求对HUD画面进行连续变焦呈现，这一点传统的 WHUD 技术很难达到，需要借助三维的显示技术才能实现。但即使是目前市面上非常受追捧的奔驰S级所搭载的AR HUD，其实也只是一个VID为10m的单层画面，只能显示一组与真实路面无法融合的导航箭头。
技术难点3：空间坐标系的对齐
基于对真实世界的感知和对虚拟世界的呈现，HUD必须快速完成虚拟影像与真实世界在空间坐标系上的定位坐标转换与对齐，也叫做空间融合。
技术难点4：时间坐标系的低延时显示
车身自有传感器数据从采集到输入给HUD的AR实时渲染引擎完成虚像呈现，中间必然有一个时间差。根据FUTURUS目前的测算数据，这个延时的时间差需要控制在30ms以内。这对空间运动姿态捕捉及延时补偿算法的运算速率要求极高，甚至需要对场景识别的运动轨迹进行预判。
技术难点5：重影
挡风玻璃由于其本身厚度原因，相当于存在2个反射面，光线在经过它两个面的反射后会形成2个虚像，也就是我们平时所说的重影。重影的存在，会极大地影响AR-HUD的成像质量，那么如何才能消除重影呢？
·HUD市场格局
HUD技术专利集中度较高，此前被海外供应商垄断。近年来，国内厂商逐渐展露投教，如华阳集团、怡利电子。
海外供应商主要服务于中高端品牌，如奔驰、宝马、奥迪、别克、本田和丰田等；国内国内供应商主要服务于国内车企，如红旗、长城、吉利、东风和蔚来等。
2.中控屏
是车载信息娱乐系统功能的主要端口，是座舱内最大的车载屏，也是智能座舱各部件中渗透率最高的产品。国内中控屏前装市场份额前三的企业是的德赛西威、比亚迪和佛吉亚。
2012年，特斯拉Model S 的17寸中控竖屏横空出世，正如乔布斯当年推出iPhone4般惊艳，这可是在那些传统车型上从来没见过的新鲜玩意儿，它的出现让实体按键全部失去意义，标志着汽车内饰正式迈向一个新的时代。
一方面，汽车会依旧保留驾驶乐趣的体验，让驾驶者能够自主控制，“驾驶”将成为现代人的一种娱乐方式而得以保留；另一方面，汽车会作为一个高度智能的交通工具，为人类提供安全、高效的运输功能，人们用汽车从A点到B点，在途中可以完全沉浸在自己的世界里，做自己想做的事，这点类似于航天飞船的全自动驾驶系统。
车载中控屏会根据汽车的发展方向去发展，归纳总结一下近年来座舱屏幕的演变路线，主要有四大主线和其他支线：
·传统派
传统的车内屏幕布局方式。也是绝大多数传统汽油汽车的屏幕布局形式，传统汽车主要卖点在于驾驶乐趣，那么车载中控大屏完全就是一个多余的设备，车载中控小屏也仅显示极少的必要信息，车载中控大屏对于提升驾驶乐趣毫无用处，从现在的各类超级跑车、小钢炮、硬派越野上，都能得到佐证。
·双联屏派
仪表屏和娱乐屏并列布置。真双连屏的创始者是2013年上市的上一代奔驰S级，并且当上一代奔驰的内饰语言得到广泛认可后，双联屏这一浪潮也对过内外车企产生了不小的影响。
优势：一是视觉冲击力强；二是有科技感
缺点：
一是双联屏布局下的中控屏一般都是14：1的比例，很扁，这就导致在导航界面下能够显示的前方路线非常有限；
二是双联屏的中控屏位置其实是比较高比较深的，这就导致驾驶员在触摸操作时手的触及性并不好，经常需要向前移动身体，影响驾驶安全。
而奔驰在使用双联屏的时候，其实中控屏是不能触摸的，都是依靠方向盘开关，或者下中控区域的触控面板来控制中控屏的内容。
·大竖屏
仪表屏和娱乐屏分列布置，娱乐屏是大竖屏。大竖屏的开拓者毫无疑问是2012年上市的特斯拉Mode S 。
此后无论是造车新势力（蔚来、小鹏），还是积极拥抱变化的传统势力（沃尔沃XC90、荣威RX5）都不约而同的选择了大竖屏。
▲蔚来ES6
从体验上来说，大竖屏的优势在于：
面积比之前的所有类型的屏幕都大，可同时显示的内容多；导航的布局非常好；驾驶员触摸较为方便，开关进展的体验较好；
缺点：
大竖屏整体的布置位置较低，经常需要驾驶员低头；播放视频时，大竖屏的利用率较低；
·大横屏
仪表屏和娱乐屏分列布置，娱乐屏是大横屏。与大竖屏一样，大横屏流派的开创者仍然是特斯拉（要不怎么说特斯拉在电动车领域的地位高呢）。
一般来说，典型的多联屏是在双联屏的基础上再增加一个副驾屏，有的车型还会怎加一块开关屏，从而组成一套完整的前排座舱交互系统。增加的副驾屏可以照顾副驾驶的娱乐需求，而增加的开关屏则可以解决触摸不便的问题。
但是双联屏遗留的对地图界面不友好的问题仍然没有能够解决，此外，多联屏最大的缺点就是贵。
在到底是横屏好用还是竖屏好用这件事上，或许不同的人会有不同的答案!
3.液晶仪表
液晶仪表用屏幕取代指针，除了提供涡轮压力、油门、刹车等车辆信息，还支持导航地图、多媒体等功能。液晶仪表行业或面临技术变革，已经有车企采用HUD+中控大屏的方案代替仪表盘，后期或许会被流媒体后视镜、HUD等替代。
4.流媒体后视镜
传统后视镜存在视野宽度不足、易受天气影响、观看三镜存在时差盲点的问题逐渐被淘汰。流媒体后视镜以屏幕代替传统镜面，配备外置摄像头获取路况代替人言，支持流媒体、物理后视镜两种显示模式，能规避传统后视镜的缺陷。
人机交互技术HMI
智能座舱软件架构中，应用层软件是最容易被感知的部分。应用软件通过HMI设计传递给用户，人机交互界面是人与汽车互动的直观渠道，直接影响驾乘体验。随着座舱显示设设备进化，座舱个性化需求发展，车内交互方式也逐渐多元化和智联化。
1.HMI人机界面
一般来讲，我们把车载中控系统分成两部分：一部分是与汽车驾驶直接相关的汽车驾驶系统；另一部分是与驾驶不直接相关的各类娱乐系统等。存在两者之间的有车载导航系统和各种与地理相关的功能系统，他们与驾驶操作本身没有关联。但汽车作为交通工具，现代人已经越来越离不开电子导航系统。
像智能手机一样，汽车除了最基本的安全及生理需求之外，近年来座舱的主要关注点集中在为消费者提供便利性和情感化的“类人”模式交互体验。在提升消费者体验方面退出了很多新功能，但存出不穷的功能也备受质疑，“堆砌、赘余、伪需求”等声音也源源不断。
如何有效设计座舱人机交互，来平衡驾驶与其他功能需求之间的关系，保证驾驶的安全性，是当下座舱进入白热化竞争阶段需要种点考虑的问题。
2.人机界面设计原则
HMI设计首重需要考虑安全，需要在设计上适应车载的使用场景，对比原有的交互六大原则
适配到车载的场景提炼出六大交互设计原则
- 安全性原则
- 及时反馈原则
- 完整性原则
- 简单学习原则
- 信息可视化原则
- 情感化原则
智能座舱人机交互设计八大要素详解，可以参考这篇：
https://mp.weixin.qq.com/s/reQMcp9JRg0IY2Ip-g3KpQ
3.人机交互方式
视觉交互：早期的座舱交互以视觉为主，通过按键或点击屏幕的形式，选择相关功能。
↓↓↓
语音交互：视觉交互需要驾驶员不断变换实现，容易造成安全事故，语音交互应运而生。
↓↓↓
多模态交互：单一的交互方式会增加驾驶员的认知负荷，无法满足复杂的驾驶场景。通过不同场景的实验与研发，越来越多的车型开始搭载多模态交互功能。
智能座舱的发展最主要的体现之一就是交互功能，车机不再是冰冷的，而是能给人反馈的，从最开始触碰式、点击式，到后来的语音交互，都是为了满足不同的消费者需求，适应多样的使用场景。如今，智能座舱已经发展到了多模态交互，视觉、语音、触觉、生物识别以及新上车的嗅觉交互相互结合，成就更精准、便捷的交互体系，为用户打造车内覆盖全感官的沉浸式体验。
随着自动驾驶技术的进步，智能座舱也将围绕座舱电子、内部全面升级到移动的第三生活空间，将信息、娱乐、互联等功能进行全面融合，为消费者提供更便捷的体验，汽车将不再是代步工具，它可以是办公、娱乐的场所，也可能成为更多场景下的生活空间。