人工智能安全学习笔记

任何一项新技术的发展与应用都存在相互促进又相互制约两个方面：一方面，技术的发展能带来社会的进步与变革；另一方面，技术的应用要以安全为前提，要受到安全保障机制的制约。

人工智能安全

人工智能安全分为三个子方向：

• 人工智能助力安全（AI for Security）
• 人工智能内生安全（AI Security）
• 人工智能衍生安全（AI Safety）

其中，助力安全体现的是人工智能技术的赋能效应；内生安全和衍生安全体现的是人工智能技术的伴生效应。人工智能系统并不是单纯依托技术而构建，还需要与外部多重约束条件共同作用，以形成完备合规的系统。

人工智能安全的体系架构及外部关联如图 1 所示。

人工智能助力安全

主要表现为助力防御和助力攻击两个方面。

• 在助力防御方面，防御者正在利用人工智能技 术提升和扩展其原有防御方法。

人工智能机器学习模型为积极主动的网络防御带来了新途径。智能模型采用积极主动的方式，而不是传统的被动应对方式；同时，利用人工智能的预测能力和机器学习的进化能力，可以为我们提供抵御复杂网络威胁的手段。本质上来讲，最重要的变化是在网络攻击发生之前就进行预警并采取阻断措施。

麻省理工学院研发的基于人工智能的网络安全平台AI2，用人工智能方法来分析网络攻击情况，帮助网络安全分析师做那些类似“大海捞针”的工作。AI2系统首先利用机器学习技术自主扫描数据和活动，把发现的结果反馈给网络安全分析师。网络安全分析师将会标注哪些是真正的网络攻击活动，并将工程师的反馈纳入AI2系统，从而用于对新日志的自动分析。在测试中，研究小组发现AI2的准确性约为现今所使用的自动分析工具的3倍，大大减少误报的概率。另外，AI2在分析过程中可以不断产生新模型，这意味着它可 以快速地改善自己的预测率。系统检测越多的攻击活动，收到来自分析师的反馈越多，相对地可以不断提高未来预测的准确性。据报道，AI2通过超过3.6亿行日志文件的训练，使其可以分析出85%的攻击行为，以便告警可疑行为。

• 在助力攻击方面，攻击者正在利用人工智能技术突破其原有能力边界。

人工智能可以赋能网络攻击，业内称之为自动化或智能化网络攻击。通过机器人在人完全不干预的情况下，自动化地进行计算机的攻击。近年来连续发生的重大黑客事件，包括核心数据库泄密、数以亿计的账户遭入侵、WannaCry勒索病毒等都具有自动化攻击的特点。通过借助自动化工具，攻击者可以在短时间内，以更高效、更隐蔽的方式对大量不同网站进行漏洞扫描和探测，尤其对于0day/Nday漏洞的全网探测，将会更为频繁和高效。人工智能强大的数据挖掘和分析能力，以及由此带来的智能化服务，经常被黑客组织加以利用，借助于人工智能技术，形成更为拟人化和精密化的自动化攻击趋势，这类机器人模拟真人的行为会更聪明、更大胆，也更难以追踪和溯源。当前，自动化、智能化的网络攻击正在不断让网络安全防线频频失守，而这显然需要引起网络安全行业的足够重视，需要从了解自动化网络攻击行为特点入手，及时采取措施。

人工智能内生安全

人工智能内生安全指的是人工智能系统自身存在脆弱性。脆弱性的成因包含诸多因素，人工智能框架 / 组件、数据、算法、模型等任一环节都可能给系统引入脆弱性。

在框架 / 组件方面，难以保证框架和组件实现的正确性和透明性是人工智能的内生安全问题。框架（如 TensorFlow、Caffe）是开发人工智能系统的基础环境，相当于人们熟悉的 Visual C++ 的 SDK库或 Python 的基础依赖库，重要性不言而喻。

在数据方面，缺乏对数据正确性的甄别能力是人工智能的内生安全问题。例如，数据的丢失和变形、噪声数据的输入，都会对人工智能系统形成严重的干扰。

在算法方面，难以保证算法的正确性是人工智能的内生安全问题。智能算法存在的安全缺陷一直是人工智能安全中的严重问题。例如，对抗样本就是一种利用算法缺陷实施攻击的技术，自动驾驶汽车的许多安全事故也可归结为由于算法不成熟而导致的。

在模型方面，难以保证模型不被窃取或污染是人工智能的内生安全问题。模型是一个可拷贝、可修改的实体文件，就存在被窃取和被植入后门的安全风险，这就是人工智能模型安全需要研究的问题。

人工智能自身存在着脆弱性，例如对抗样本就是人工智能的内生安全问题。对抗样本是机器学习模型的一个有趣现象，反映出了人工智能算法的弱点。攻击者通过在源数据上增加人类难以通过感官辨识到的细微改变，但是却可以让机器学习模型接受并做出错误的分类决定。一个典型的场景就是图像分类模型的对抗样本，通过在图片上叠加精心构造的变化量，在肉眼难以察觉的情况下，让分类模型产生误判。对抗样本除在图像识别领域存在，也在其他领域存在，如语音、文本等。从网络安全领域看，同样存在类似于对抗样本的攻击问题，攻击者通过对恶意代码插入扰动操作就有可能对人工智能模型产生欺骗。例如，有人就设计了一个恶意样本，让分类器将一个存有恶意行为的软件认定为良性的变体，从而可以构造能自动逃逸PDF恶意软件分类器的攻击方法，以此来对抗机器学习在安全中的应用。上述安全问题都可能会导致同样后果，就是导致人工智能系统发生错误的决策、判断，以及系统被控制等问题。

人工智能衍生安全

人工智能衍生安全指的是人工智能系统因自身脆弱性而导致危及其他领域安全。衍生安全问
题主要包括四类：

• 人工智能系统因存在脆弱性而可被攻击
• 人工智能系统因自身失误引发安全事故
• 人工智能武器研发可能引发国际军备竞赛 AIA
• 一旦失控将危及人类安全

人工智能的失误可能会给人类带来灾难，从而会形成衍生安全问题。2016年5月7日，在佛罗里达州公路上一辆处于“自动驾驶”模式的特斯拉Model S以74英里的时速，撞上了拐弯中的白色拖挂式大货车。Model S从货车车底穿过，车顶被完全掀飞，40岁的驾驶员Joshua Brown不幸死亡。出事路段限制时速为65英里/时。由于 “自动驾驶”模式车前的高清摄像头为长焦镜头，当白色拖挂卡车进入视觉区域内时，摄像头只能看到悬浮在地面上的卡车中部，而无法看见整个车辆；此外，当时阳光强烈(蓝天白云)，使得自动驾驶系统无法识别出障碍物是一辆卡车，而更像是飘在天上的云，导致自动刹车未生效。这次事故引发了外界对自动驾驶汽车安全性的争议。这种自动驾驶的缺陷导致人类伤亡的事情，是典型的人工智能衍生安全的案例。

《人工智能安全论述》 方滨兴 1,2,3 崔翔 2,3 顾钊铨 2,3
方滨兴院士：人工智能安全之我见
人工智能安全 方滨兴

人工智能安全风险分析与内涵

1、新的攻击威胁：

攻击方法：对抗样本的攻击、数据投毒、模型窃取、人工智能系统攻击

攻击影响：模型的训练、测试和推断过程中均可能遭受攻击；危害数据和模型的机密性、完整性和可用性。

2、人工智能安全隐患

①算法模型安全隐患：算法是人写的，模型也是人写的，都可能有缺陷，有歧视，有黑箱操作的可能。

②数据安全与隐私保护隐患：采集数据、使用数据、存储数据都不同程度的滥用泄露。

③基础设施安全隐患：简单理解，人工智能也得依赖数据库、操作系统、代码。这些就是基础设施，一旦这些基础被黑客控制了，数据就被泄露了。

④应用安全隐患：自动驾驶（黑客远程入侵控制导致撞车）、生物特征识别（小学生用照片成功忽悠人脸识别）、智能音箱等等。

⑤人工智能滥用：利用语音合成技术假扮受害人亲属实施诈骗、人工智能技术破解登录验证码的效果越来越好、且难以防范、利用人工智能技术模仿人类，如换脸、手写伪造、人声伪造、聊天机器人。

3、安全影响：

国家安全影响：人工智能可用于构建新型军事打击力量，对国防安全造成威胁。

社会伦理挑战：智能人工机器人替代人，造成大量失业；人们不去恋爱了，就和机器人恋爱。

人身安全风险：抽象

人工智能安全标准化白皮书（2019版）

网络空间安全

基于计算的学科，涉及技术，人员，信息和流程，可确保在对手的上下文中进行有保证的操作。它涉及安全计算机系统的创建，操作，分析和测试。这是一门跨学科的学习课程，包括法律，政策，人为因素，道德和风险管理等方面。

网络空间安全不仅关注传统信息安全所研究的信息的保密性、完整性和可用性，同时还关注构成网络空间的基础设施的安全和可信，以及网络对现实社会安全的影响。

专业解析：国际上习惯用机密性，完整性和可用性这三个属性（简称CIA）称为安全性的三个要素。凡是在网络空间中，涉及到CIA三个要素之一的内容，都纳入网络空间安全范畴。包括：防止信息被泄密、防止未授权的访问与篡改、防止系统不可用。

网络空间

网络空间是信息环境中一个整体域，它由独立且相互依存的信息基础设施和网络组成。包括了互联网、电信网、计算机系统、嵌入式处理器和控制器系统。

专业解析：专业上通常把遵循ISO/OSI 7层协议框架（有时用TCP/IP协议框架）的设备统称为IT(Information Technology)设备或系统，例如路由器、服务器、PC，各类应用软件等。如果把整个范围扩大到所有可以连接到网络上的非IT设备系统：包括工业设备系统（Operation Technology，简称OT设备）如核电站；物联网设备系统（Internet of Things，简称IoT设备）如蓝牙音箱、自动驾驶汽车。这就是网络空间的范围。特点是：海量+万物。

网络安全Network Security

为防止，检测和监视计算机网络和网络可访问资源的未经授权的访问、滥用、修改或拒绝而采取的策略、过程和做法组成。包含网络设备安全、网络信息安全、网络软件安全。

专业解析：网络安全通常是指遵循ISO 7层协议框架（或TCP/IP）的IT设备之间如何保障机密性、完整性和可用性的问题。如：系统被攻击，设备通信时被黑客嗅探获取密码。特点：IT设备。

信息安全

严谨定义：ISO27001定义：保护组织有价值的信息资产机密性、完整性和可用性，而建立的组织、策略与流程。
专业解析：企业内部有价值的信息资产包括硬件、软件、服务、人员、数据、无形资产等。如何保护这些资产的机密性、完整性和可用性。例如：防止公司重要数据库服务器被破坏。可能是外部黑客，也可能是内部人员破坏。

数据安全

严谨定义：维基百科：保护数字数据免受破坏力和未经授权用户的有害行为的侵害，例如网络攻击或数据泄露。

专业解析：结构化数据、半结构化数据及非结构化数据在其整个生命周期中的机密性、完整性和可用性的保护。

重要性

进入21世纪，随着信息化建设和IT技术的快速发展，各种网络技术的应用更加广泛深入，同时出现很多网络安全问题，致使网络安全技术的重要性更加突出，网络安全已经成为各国关注的焦点，不仅关系到机构和个人用户的信息资源和资产风险，也关系到国家安全和社会稳定，已成为热门研究和人才需求的新领域。必须在法律、管理、技术、道德各方面采取切实可行的有效措施，才能确保网络建设与应用“又好又快”地稳定发展。

网络空间已经逐步发展成为继陆、海、空、天之后的第五大战略空间，是影响国家安全、社会稳定、经济发展和文化传播的核心、关键和基础。网络空间具有开放性、异构性、移动性、动态性、安全性等特性，不断演化出下一代互联网、5G移动通信网络、移动互联网、物联网等新型网络形式，以及云计算、大数据、社交网络等众多新型的服务模式。

网络安全已经成为世界热门研究课题之一，并引起社会广泛关注。网络安全是个系统工程，已经成为信息化建设和应用的首要任务。网络安全技术涉及法律法规、政策、策略、规范、标准、机制、措施、管理和技术等方面，是网络安全的重要保障。

信息、物资、能源已经成为人类社会赖以生存与发展的三大支柱和重要保障，信息技术的快速发展为人类社会带来了深刻的变革。随着计算机网络技术的快速发展，我国在网络化建设方面取得了令人瞩目的成就，电子银行、电子商务和电子政务的广泛应用，使计算机网络已经深入到国家的政治、经济、文化和国防建设的各个领域，遍布现代信息化社会的工作和生活每个层面，“数字化经济”和全球电子交易一体化正在形成。网络安全不仅关系到国计民生，还与国家安全密切相关，不仅涉及到国家政治、军事和经济各个方面，而且影响到国家的安全和主权。随着信息化和网络技术的广泛应用，网络安全的重要性尤为突出。因此，网络技术中最关键也最容易被忽视的安全问题,正在危及网络的健康发展和应用，网络安全技术及应用越来越受到世界的关注。

jtj2008 知道合伙人教育行家
https://blog.csdn.net/agiogo/article/details/115861564