AI换脸、隐身攻击、破解人脸解锁...AI安全到底有多可怕？

来源：RealAI

人工智能发展到当下阶段，对于伦理和安全的思考已经逐渐从幕后走向台前。

2019年5月22日，经济合作与发展组织（OCED）批准了《负责任地管理可信赖AI的原则》，该伦理原则总共有五项，包括包容性增长、可持续发展及福祉，以人为本的价值观及公平性，透明度和可解释性，稳健性、安全性和保障性，问责制。

 

其中更为显性的安全问题，在“换脸”风波、人脸信息泄漏等一系列事件的曝光下，为人工智能技术的应用前景蒙上了一层阴影，提高人工智能技术的安全性与可靠性迫在眉睫。

Deepfake的世界里，眼见不再为实

Deepfake将人工智能话题推上了舆论的风口。

图： 演员Jordan Peele模仿奥巴马声音制作的虚假演讲视频

利用Deepfake造假技术，艾玛·沃森等一众欧美女明星被“换脸”在了不可描述的小电影上，混迹政坛的大佬虚假演讲“互相攻讦”，一时轰动全网。

作为国内首家致力于推广安全、可靠、可解释第三代人工智能的研究团队，RealAI表示，目前AI换脸的技术难度正大幅降低，团队成功将近期人气火热的雷佳音换脸成著名相声演员郭德纲，整个过程仅花费数小时。

图： 雷佳音（左）换脸郭德纲（右）

现今，基于人脸的信息传递已经成为人类社会沟通的主要媒介之一，比如社交平台的照片、网络上的演讲和表演视频。

换脸技术的出现则极大地影响公众对图片和视频的解读，比如谁该为这段言论负责，以及这段言论的可信度有多大，甚至可能沦为色情复仇的工具、扰乱政界的武器，导致前所未有的社会影响。

目前Deepfake主要以公众人物为受害目标，但随着AI技术的飞速发展，可能在不远的将来，普通民众也会被波及。

为了保证AI应用的安全性，目前RealAI团队研发出“反AI变脸检测”工具，专用于检测AI换脸造假技术。

图： RealAI“反AI变脸检测”技术 ，绿框为正常视频帧，红框为检测出的造假视频帧

RealAI研究人员表示，Deepfake生成的造假视频画面会有不“自然”的纹理存在。 为此，他们通过海量视频训练神经网络，让其学习正常情况中的纹理特征，再以此检测造假视频中不一致的纹理。 利用该技术，可以对造假视频实现逐帧检测，准确率高达90%以上。

据媒体报道，目前已经出现犯罪团伙利用AI换脸进行诈骗，希望“反AI变脸检测”技术可以遏制此类恶性事件的发生，不要让病态化的“换脸”趋势愈演愈烈。

“隐身衣”成为可能，犯罪行为“有处遁形”

如果说，“换脸”是技术滥用引发的社会安全威胁，那还有另一个不容忽视的问题： AI算法本身也不够安全。

比如，深度神经网络（CNN）存在的大量的安全盲点，可以被特定构造的输入样本欺骗。 在原始图片上增加人眼看上去无关紧要的噪声，可以恶意地误导AI系统输出非预期的结果。

图： 一张贴纸“骗”过AI摄像头

来自比利时鲁汶大学 (KU Leuven) 研究人员曾在身上贴一张打印出来的贴纸，就成功“欺骗”AI，让检测系统无法看到自己，如同穿了哈利波特中的“隐身斗篷”。

目前，RealAI团队也成功开展类似的“隐身”研究，在3D车辆模型的车身上贴上特制的“纸片”，使得模型成功逃逸识别。 从具体效果来看，该“隐身”可在高度运动、光线变化等复杂环境中保持较高的鲁棒性，技术优势明显。

图： 3D车辆模型“隐身”试验

图： 远距离、近距离、稳定、动态拍摄下的“隐身”效果

如上图所示，试验中最右车辆未加噪音处理，最左车辆车身添加了白噪音，中间的车辆车身添加了RealAI基于对抗样本特制的噪音图像。

可以看到，无论是远距离、近距离，稳定拍摄还是运动拍摄中导致失焦，添加了对抗样本噪音的车辆在绝大部分情况下都没有被识别出，“隐身”最为成功。

图： 关灯瞬间以及昏暗光线下的“隐身”效果

即便外界光线发生变化，在关灯瞬间“隐身”效果依旧稳定。

值得指出的是，目前国际上发布的相关研究更趋于“静态”环境中的隐身，比如过度的大幅度动作可能会导致“隐身”失效，RealAI团队的“隐身”试验则可以适应高难度的动态环境，比如高频抖动、角度变换、失焦等，而且隐身效果更为突出。

目前目标检测技术已经大规模的应用到商业场景中，例如公共场所动态监控、安防布控以及自动驾驶汽车...... 而上文的“隐身”技术可能用于现实的视频监控系统或干扰自动驾驶汽车的感知系统。

设想一下，当监控系统失去监管效力、自动驾驶汽车失控，将引发怎样的后果？

警方过度信任AI监控导致罪犯轻松利用“隐身”技术逃脱、自动驾驶汽车被路边的某个“图案”误导而引发车祸....公众的人身安全、社会安全乃至国家安全都将面临挑战，政府、企业和社会都应该重新评估AI算法的可靠性。

刷脸时代，你的“脸”正在出卖你

随着AI在人脸识别上越来越精通，人脸解锁已经成为智能手机的标配。 但是，我们的脸真的安全吗？

最近，RealAI的AI安全研究团队利用一副基于“对抗样本”生成的“眼镜”成功破解智能手机的面部解锁，是国际上首个从算法层面对商用手机高复杂识别模型实现黑盒攻击的团队。

图： 正常情况下无法解锁他人手机

图： 带上道具瞬间完成解锁，破解成功

图片中可以看到，“攻击者”戴上眼镜识别的瞬间便可成功解锁，无需特定的角度和光线，无需暴力尝试。 与照片解锁、造假视频、3D建模等传统方法相比，该方法成本更低、成功率更高。

深度神经网络（CNN）容易受到“对抗样本”的攻击影响。 此前就有研究团队提出，通过带有干扰的“配饰”来欺骗模型逃逸识别。

但该想法只停留于研究层面，仅在实验场景中结构较简单的模型上进行过验证，而且是基于对模型内部参数已知的情况下实现的“白盒”攻击。

RealAI研究团队则将其成功应用到物理世界和黑盒场景，对内部参数未知的情况下，破解商用手机中复杂度、精准度更高的识别模型。

图： 基于对抗样本生成的“眼镜”道具

RealAI进行该项研究，目的是为了从算法层面找到当前主流人脸识别模型的安全漏洞，从而针对性的进行防御。 目前团队也已经研发出相应的防御技术，可能很大程度上检测并防御当前的对抗样本攻击。

通过对手机识别系统进行防火墙升级，在解锁的过程中可以识别出“攻击者”，并对其拒绝访问。

图： RealAI的AI防火墙技术可检测并防御“对抗样本”攻击

在正在到来的“刷脸”时代，我们似乎一再追求“好不好用”，对“安不安全”却专注甚少。 当我们沉浸在“技术进步”的喜悦中时，也该思考下，我们写在“脸”上的密码或许正在出卖我们。

保护AI安全发展，我们可以做什么？

人工智能在许多场景的应用都与人身安全息息相关，如自动驾驶、身份认证、监控安防等。 如果在这些领域，一旦AI技术被滥用或者AI算法出现漏洞，将直接侵害人身权益，后果难以挽回。

监控部门也已经注意到AI安全问题的严重性。 今年4月全国人大常委会审议的《民法典人格权编(草案)》里，正式加了一条： 任何组织和个人不得以利用信息技术手段伪造的方式侵害他人的肖像权。

5月，国家网信办会同有关部门发布《数据安全管理办法（征求意见稿）》，其中表示，网络运营者不得以谋取利益或损害他人利益为目的利用大数据、人工智能等技术自动合成信息。

除了加强监管力度，确保人工智能安全、可控发展，也需要从安全对抗的本质上出发，铸造更高门槛的防御技术，以AI应对AI。

作为清华大学AI研究院的重点孵化企业，RealAI与清华大学AI研究院联合开发出人工智能安全平台—RealSafe平台。

RealSafe作为深度学习攻击防御算法与评测的统一平台，提供多种攻击与防御算法，并融合白盒、黑盒等不同场景，可以提供全面、细致的攻击防御算法的评测与比较。

此外，RealSafe安全技术也可以应用至金融领域的身份验证、安防领域的监控识别等具体场景，提高AI应用的安全性，避免不法之徒钻空子。

最后，AI安全问题已经不再只是学术谈论，社会各界都应该提高对AI安全的意识，毕竟，AI已来，而解决AI安全问题已经迫在眉睫！

张亚勤、刘慈欣、周鸿祎、王飞跃、约翰.翰兹联合推荐

这是一部力图破解21世纪前沿科技大爆发背后的规律与秘密，深度解读数十亿群体智能与数百亿机器智能如何经过50年形成互联网大脑模型，详细阐述互联网大脑为代表的超级智能如何深刻影响人类社会、产业与科技未来的最新著作。

《崛起的超级智能;互联网大脑如何影响科技未来》2019年7月中信出版社出版。刘锋著。了解详情请点击：【新书】崛起的超级智能：互联网大脑如何影响科技未来

未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能，互联网和脑科学交叉研究机构。

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）云脑研究计划，构建互联网（城市）云脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”