安全的智能

关注：灰质，有趣有料的AI技术分享

上次说到好用的智能技术，今天具体说说其中的安全性问题，在自动驾驶等领域，智能技术的安全性已经成为业界的焦点，如何从方法本身或系统整体来保证安全，接下来将成为整个行业集智攻关的方向。总体来说，一个自动驾驶系统的安全包括功能安全（系统设计功能）、预期功能安全（预期使用场景下保证安全）和网络安全等方面。今天先说说其中比较有特色的一种安全，预期功能安全。

预期功能安全这个词来自自动驾驶领域，是目前对于智能系统可用性评估比较有意思的方向。通常意义上的安全是指硬件设备故障、软件功能报错等，但是智能技术带来了一个新问题，如果是系统本身设计研发中就没有预见到可能出现的问题呢？即所谓的未知情况下的危险。那么对于这种整体性功能在预期场景下可能出现的未知危险问题如何评估，如何控制，就是预期功能安全尝试解决的问题。

预期功能安全英文全名是Safety of the Intended Functionality，即SOTIF。自动驾驶领域已经开始制定相关标准，如ISO/PAS 21448. Road Vehicles—Safety of the Intended Functionality 等。其中将自动驾驶车辆面对的场景分为四类，已知安全场景、已知不安全场景、 未知安全场景以及未知不安全场景。SOTIF重点关注的就是未知的危险类场景及问题，核心目的就是找到一种规范化的方法将未知的危险转换为已知或者叫可知的危险，然后再把可知的危险转变成安全可控的场景和问题。

解决这个问题主要两个方面努力，一个是增强自动驾驶等智能系统的传感器硬件和算法软件等能力，提高功能适用范围。另一个是在测试验证方面加强测试评估体系建设，尽量全面地预见到智能系统的危险情况，给出使用边界。尤其是测试评估方面，从基础上要建立真实性、完备性不断完善的场景库，从顶层要制定行业共识的标准规范。

今天咱们聊一聊相关的进展。

在安全性分析方面，有人在做关于基于场景的扩展危害性分析与风险评估的研究，指的是从功能安全和预期功能安全角度对整个智能系统的危害性进行分析，对风险进行评估，然后设计场景来模拟测试。危害源通常包括两部分：功能失效和误操作。也就是说，从安全的角度，非人为和人为因素都要考虑。基本的思路是遍历所有可能的危害性事件，然后合并为具有安全性风险的场景集合，再利用工具生成场景进行测试。还可以用到的方法包括故障树分析（FTA）、故障模式与影响分析（FMEA）、危险与可操作性分析（HAZOP）、系统理论过程分析（STPA）等。将一系列经典方法拓展到智能系统的安全性分析之中。

在提升智能技术的预期功能安全方面，主要涉及了感知、判断、决策、控制和人机交互。

感知方面，主要挑战有极端天气（雨、雪和大雾）条件下的感知，不利照明条件下的感知，传感器故障和运行状态监控，以及驾驶人对于自动驾驶系统功能的正确认知。智能感知系统需要进一步提高准确度和精度，改善感知系统在不利照明和极端恶劣天气条件下的感知能力，未来感知传感器会向感知更加灵敏、精确的方向发展，以增强对复杂情况的处理能力与应对各种不利条件、突发状况。

判断方面，主要挑战有未来意图的不确定性，且参与者之间的交互作用难以建模，参与者的行为往往呈现高度非线性。判断行为意图的概率分布应与其所采取的策略关联，且算法还应该能赋予结果相应的置信度，以衡量结果的不确定性。因此，研究判断模型的不确定性估计方法对于解决意图判断的预期功能安全问题至关重要。

决策方面，主要挑战有现阶段基于规则的决策技术面临因场景状态维度高、不确定性强等特点导致决策失效的挑战。基于人工智能决策方法的可靠性仍然还有很大的不确定性，随着智能决策方法日益复杂，预期功能在某些场景下可能无法达到规范的要求。

控制方面，现有执行控制功能在特定场景下仍然存在预期功能安全问题，可能出现控制性能缺陷问题。

人机交互方面，基于现有的智能技术可以预见，在将来的一段时期内，由智能无人系统和人类共同控制的“半自动”智能系统将占绝大多数。半自动智能系统需要人的干预，哪一方在何时负责、将是一个很难界定的问题。这需要对人的行为特点进行深入研究，不断迭代完善对预期行为和非预期行为等情况的处理方式。

预期功能安全的研究还涉及了测试评价体系、虚拟测试平台和外场试验场地等研究工作。

在场景生成方面，最终的目的还是构建出能够自动化生成复杂度、覆盖性与真实情况足够接近的虚拟测试场景，而且最好是虚拟测试通过的智能系统在真实场景中运行的情况是一致的，至少不会产生安全事故。这方面很多人在研究如何度量场景的复杂性、覆盖性等，尤其是对于未知危险的测量，需要考虑很多边界条件和极端情况。德国有一个PEGASUS（英文全名巨长，不提也罢）计划专门在做这方面，目的是开发一套自动驾驶功能的测试流程，以加快自动驾驶功能开发与落地。参与者众多，奥迪、宝马、大众等十多个组织，可以说是非常主流了。这个项目可以多关注一下，从2017年到现在已经形成了很多成果，而且不断迭代，这也是欧洲汽车工业一贯的合作模式，成功经验值得借鉴。

虚拟仿真平台和试验场地也都在迅速推进，涉及到模型在环、硬件在环和全系统在环等测试环节。

总的来说，智能系统的安全性研究才刚刚开始，诸多问题仍待研究，需要持续的积累才能达到足够的安全与可靠。

一点粗浅认识，班门弄斧，如果觉得还行，请给咱们支持一下吧，点赞、分享、收藏各种走起，在此多谢啦！

交流合作

请加微信号：yan_kylin_phenix，注明姓名+单位+从业方向+地点，非诚勿扰。