综述_阅读笔记

人工智能技术在网络信息安全中的应用研究

---

• 计算机网络安全管理中普遍存在的问题

  一个完善的网络信息管理系统，应当包含网络监 视与网络控制两个方面的内容，网络监视功能可以帮助使用者更好掌 握当前网络状态及网络环境，网络控制功能则可以采取相应而措施来 控制网络运行状态。在大范围的网络环境中，网络状态的监视是并不 完善的，也是没有规则的，神经元网络的并行能力则可以适应这些工 作，因为神经元网络可以从实际学习中获得信息，并不要预先知道数 据的逻辑关系或者数字关系，所以神经元网络更加适用于处理一些复 杂的问题，甚至对于一些杂乱无章的数据，也可以做出全面的分析。

• 人工智能技术在网络信息安全中应用的优势

  • 处理不确定性问题的能力

  • 协作能力，从多个角度完成协作分布式的人工智 能技术应用任务，将相应的管理思想融入到网络环境的管理工作中。

  • 学习和解释的能力，根据已有的不完全信息做出网络信息方面的判断，即使信息不精 确，也可以得出判断的结果。

  • 处理非线性问题的能力

  • 计算资源耗费小，。人工智能技术掌握一些高级的 控制算法，可以保持较快的计算速度，而传统的搜索方法是通过排除 法来选择解决问题的

• 人工智能技术在网络信息安全中的具体应用

  • 规则产生式专家系统的应用，技术人员早已经将一系列的入侵特征编码成规则，通过建成 规则库来审计相关记录与规则，可以与入侵检测形成匹配，而专家系 统则能更加自动化地完成审计工作，判断系统是否能够满足系统的使用要求
  • 人工神经网络的应用，具有较强的学习模式，以适应自动的学习规则，采取并行的工作方式来识别相关信息，在计算机网络入侵检测系统中成为较为有力的工具
  • 数据挖掘技术的应用
  • 人工免疫技术的应用，能够承担与入侵检测系统相似的作用，使网络安全环境可以免受计算 机病毒的侵害，防止计算机信息因病毒问题出现遗失或者泄漏的问题， 更能够为计算机网络建立起一个完整的保护罩，抵御病毒入侵
  • 自治 AGENT 技术的应用，将数据挖掘技术纳入行为分类，可以更加准确捕捉到入侵模式，给出正常活动的轮廓规则，这些规则在后续的 网络信息安全管理中也可以得到有效的应用，能够适用于网络信息环 境的异常检测，结合人工智能技术的神经网络，数据挖掘技术的内容 更适用于网络环境的风险判断。
  • 数据融合技术的应用，数据融合的概念是现代信息技术领域中提出的新理论，是指仿照 人类的信息处理思维来解决问题，其目标在于组合不同的数据，识别 其中的不同元素，可以推导出更多的信息，并且得到协同作业的结果。

---

网络信息安全现状及发展趋势

• 网络信息安全现状
  • 通常的网络攻击，一般是侵入或破坏网上的服务器 ( 主机) ， 盗取服务器的敏感数据，或干扰破坏服务器对外提供的服务; 也有 直接破坏网络设备的网络攻击，这种破坏影响较大，会导致网络服 务异常，甚至中断。
  • 网络入侵的主要途径有: 破译口令、IP 欺骗和 DNS 欺骗。
  • 网络安全天生脆弱，计算机网络安全系统的脆弱性是伴随计算 机网络一同产生的
  • 目前网络安全产品在发展过程中面临的主要问题是: 以往人们主要 关心系统与网络基础层面的防护问题，而现在人们更加关注应用层面的 安全防护问题，安全防护已经从底层或简单数据层面上升到了应用层 面
• 技术发展趋势分析
  • 防火墙技术发展趋势。在混合攻击肆虐的时代，单一功 能的防火墙远不能满足业务的需要，而具备多种安全功能，基于应 用协议层防御、低误报率检测、高可靠高性能平台和统一组件化管 理的技术，优势将得到越来越多的体现，UTM ( Unified Threat Management，统一威胁 管 理) 技 术 应 运 而 生。UTM 设备应具备以下 特点。网络安全协议层防御（实现七层协 议的保护，而不仅限于第二到第四层。）、通过分类检测技术降低误报率、一体化的统一管理。
  • 入侵检测技术发展趋势。入侵检测技术将从简单的事件 报警逐步向趋势预测和深入的行为分析方向过渡。IMS ( Intrusion Management System，入侵管理系统) 具有大规模部署、入侵预警、 精确定位以及监管结合四大典型特征，将逐步成为安全检测技术的 发展方向。
  • 防病毒技术发展趋势。内网安全未来的趋势是 SCM ( Security Compliance Management，安全合规性管理) 。从被动响应到主 动合规、从日志协议到业务行为审计、从单一系统到异构平台、从 各自为政到整体运维是 SCM 的四大特点。目前，内网安全的需求有两大趋势: 一是终端的合规性管理， 即终端安全策略、文件策略和系统补丁的统一管理; 二是内网的业 务行为审计，即从传统的安全审计或网络审计，向对业务行为审计 的发展，这两个方面都非常重要。

---

基于机器学习的网络异常检测方法综述

• 相关背景

  • 入侵检测系统的一般分类方法[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9mj0FMhL-1664429332673)(C:\Users\86158\AppData\Roaming\Typora\typora-user-images\image-20220927133433047.png)]
  • 人工智能的各个分支[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3gyjI6XX-1664429332674)(C:\Users\86158\AppData\Roaming\Typora\typora-user-images\image-20220927133702070.png)]
  • 机器学习
  • 深度学习，原始的深度学习是一种使用深度神经网络求解特征表达的学习过程。

• 人工智能

  • 离群点探测。

    • 在某种意义上，离群值检测也是一个分类问题分为两类，即正常和不正常，目标是确定这两类中哪 个更可能与观察结果匹配。
    • 然而，机器学习的一个基本规则是，需要用所有类别的样本训练一个系统， 最重要的是，在每个类别的训练集中找到代表的数量应该很多。因此不能对感兴趣的攻击进行训练，而只能针对正常流量进行训练，因此可以通过训练进行 正常和不正常的分类。
    • 得出结论，异常检测可能实际上 更适合发现已知攻击的变化，而不是之前未知的恶意活动。在这样的设置下，可以用已知的攻击样本和 正常的背景流量训练系统，从而实现更可靠的决策过程。

  • 错误成本高，异常检测系统在其能容忍的错误数量上面临着更严格的限制。

  • 语义鸿沟

    • 异常检测系统面临的一个关键挑战是将其结果转化为可操作的报告供网络运营商使用。在许多研究 中，笔者观察到缺少这关键的最后一步，即语义差距。
    • 了发现异常活动和攻击之间区别的核心。熟悉异常检测的人通常最先认识 到，此类系统的目标不是识别恶意行为，而是报告以前未见过的行为，不管它是否是良性的。毕竟，部署入侵检测系统的目的是发现攻击，因此，不允许弥合这一差距 的检测器不太可能满足操作预期。

  • 网络流量的多样性。影响异常检测研究成果的核心问题就 是: 非机器学习方法可能效果更好。

  • 评价的困难

    • 对异常检测系统，彻底的评估非常重要，因为经验表明，许多有前途的方法在实践中都无法达到人 们的期望。也就是说，设计评估方案并不容易，事实上比构建检测系统本身更困难。
    • 对抗性环境: 入侵检测领域特有的一个最终特征是其所处的对抗性环境。相比之下，文字识别系统 的用户不会试图在输入中隐藏字符，亚马逊的客户也不会有太多的动机( 或机会) 误导公司的推荐系统。 然而，网络入侵检测必须与一场经典的军备竞赛作斗争: 攻击者和防御者各自改进其工具，以应对另一 方设计的新技术。在这方面，一个特别严重的问题是攻击者调整其活动以避免检测。

  • 应用：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1UbFCZLy-1664429332674)(C:\Users\86158\AppData\Roaming\Typora\typora-user-images\image-20220927135340928.png)]

    基于监督机器学习技术的 入侵检测优点是能充分利用先验知识，明确地对未知样本数据进行分类。缺点是训练数据的选取评估和 类别标注需要花费大量的人力和时间。

    基于无监督机器学习技术的入侵检测优点是 不需要人为对数据标注类别信息，减少了人为误差。缺点是需要对无监督处理结果进行大量分析。

• 基于人工智能的网络安全

  • 针对网络空间攻击的传统机器学习方案

    • 提取特征;
    • 选择合适的 ML 算法;
    • 训练模型，然后通过评估不同的算法和调整参数选择性能最好的模型;
    • 使用训练后的模型对未知数据进行分类或预测。

  • 基于 k-最近邻的网络安全

    • 执行 k-NN 的前提是要知道训练数据集的数据和标签。输入测试数据，然后将测试数据的特征与训 练集中的相应特征进行比较，找出与训练集中最相似的顶级 k 元数据。最后，选择 k 元数据中出现次数 最多的一个作为与测试数据对应的类。
    • 分类器的混合通常比单个分类器表现得更好。将 k-NN、SVM 和双异步粒子群优化算法( PDAPSO: 第 6 期 张赛男，等: 基于机器学习的网络异常检测方法综述 737 Primal-Dual Asynchronous Particle Swarm Optimisation) 混合用 于 入 侵 检 测［9］。有研究人员比较了使用 KDD99 数据集的这 3 个分类器的性能，实验结果表明，3 个分类器的融合使分类精度达到 98． 55% 。 然而，相关研究只关注分类精度，并不关注模型的复杂性和效率。

  • 基于支持向量机的网络安全

    • 支持向量机( SVM) 是一种性能优越的监督学习算法，包括支持向量分类和支持向量回归。支持向量 机的核心思想是通过构造一个合适的分裂平面对数据进行分离。
    • Olalere ［10］通过识别和评估恶意软件网 络地址判别词汇特征，构建了一个实时恶意软件统一资源定位器( UＲL) 分类器。它手动检查列入黑名单 的恶意软件 UＲL，从而识别出 12 个歧视性词汇特征。然后，对现有的黑名单恶意软件 UＲL 和新收集的 恶意软件 UＲL 的特征进行实证分析，发现攻击者在恶意软件 UＲL 的制作上遵循了相同的模式。最后， 利用支持向量机( SVM) 对提取的特征进行性能和有效性评价，准确率达到 96． 95% ，假阴性率( FNＲ: False Negative Ｒate) 为 0． 018。

  • 基于决策树的网络安全

    • 决策树算法是一种逼近离散函数值的方法。本质上决策树机制是通过一系列规则对数据进行分类的 过程。
    • 恶意软件检测决策树的构建过程。恶意软件可以根据决策树进行分类。决策结果是通 过预先定义的决策规则从特定的特征中得到。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mT1PjDy9-1664429332675)(C:\Users\86158\AppData\Roaming\Typora\typora-user-images\image-20220927140037227.png)]

  • 基于神经网络的网络安全

  • 总结

    没有任何一种传统机器学习方法能很好地解决所有问题，需要具体情况具体分析

    无监督机器学习方法和监督机器学习方法的结合使用以及集成学习使用多种分类器构建入侵检测系 统，已经成为了未来入侵检测的研究趋势，但由于流量数据中的异常流量远远小于正常流量的数据而产 生的不平衡问题仍是基于传统机器学习方法的入侵检测技术发展的一大瓶颈，且文中引用的大部分基于 传统机器学习方法的 IDS 研究工作均没有解决该问题

• 防范网络空间攻击的深度学习解决方案

  • 基于深度信念网络（DBN）的攻击防御

    DBN 是由多个受限玻尔兹曼层组成的概率生成模型。Zhu 等［16］提出了一种新的基于 DL 的方法，称 为“DeepFlow”，可以直接从 Android 应用程序的数据流中检测恶意软件。该方案基于 DBN 实现。基于 DeepFlow 架构，可以分析复杂攻击特征数据。DeepFlow 架构由 3 个组件组成: 特征提取模块，粗粒度特 征模块，以及用于分类的 DBN 模块。两个爬虫模块可以用于分别抓取来自恶意软件来源的恶意软件和 第 6 期 张赛男，等: 基于机器学习的网络异常检测方法综述 739 来自谷歌播放商店的良性软件。实验结果表明，DeepFlow 算法优于 Nave Bayes、logistic 回归、SVM 和多 层感知器( MLP: Multilayer Perceptron) 等传统的 ML 算法。

  • 基于递归神经网络（RNN）的攻击检测

    与传统的前馈神经网络( FNN: Feedforward Neural Network) 不同，ＲNN 引入定向循环，可以处理输入 之间的上下文相关性，以处理序列数据。 为了对基于权限的 Android 恶意软件进行分类，Vinayakumar 等使用了长短期记忆循环神经网络 ( LSTM-ＲNN: Long Short Term-Ｒecurrent Neural Network) ，因为 LSTM 可以通过 Android 权限序列的稀疏表 示学习时间行为。他们还进行了一些值得关注的实验，这些实验以 0． 01 ～ 0． 50 的学习速率运行了 1 000 代。在真实世界的 Android 恶意软件测试数据集中，所有 LSTM 网络都达到了 89． 7% 的最高准确率。

  • 基于卷积神经网络的攻击检测

    Chowdhury 等提出了一种改进的基于 CNN 的入侵检测 DL 方案。首先，该方案训练了一个用于入 侵检测的卷积神经网络。其次不同于其他 CNN 解决方案: 从 CNN 的每层提取输出，利用线性支持向量 机和最近邻分类器改进少样本的入侵检测。少样本学习适用于某一类训练集较小的场合。最后，他们在 两个著名的公共数据集: KDD99 和 NSL-KDD 上实现了提出的方案。这两个数据集是不相等的，有些类的 训练样本可能比其他类少。实验结果表明，该方案在这两个数据集上的性能优于以往方案。

  • 基于自动编码器的威胁检测解决方案

    一些研究人员已经尝试在雾计算环境中使用 DL 分发攻击检测。Abeshu 等提出了一种新型的分 布式 DL 方法，用于雾到物计算中的网络攻击检测。他们采用的模型是无监督 DL 的堆叠自动编码器，并 利用一个未标记网络中的正常样本和攻击样本混合训练了一个模型，该模型通过自学习方案识别攻击模 式和正常数据。实验结果表明，所提深度模型在虚警率、准确率和可扩展性方面优于浅模型。

• 总结

  深度学习技术的发展促进了入侵检测研究的进步，其能利用分层结构对数据进行无监督特征学习和 模式分类，可将特征提取器和分类器集成到一个框架中，不需要安全专家手动提取特征。深度学习能有 效处理大规模网络流量数据，相比于浅层的传统机器学习方法，具有更高的效率和检测率，但是其训练 过程较复杂，模型可解释性较差。

  综上可以得出结论，人工智能并没有像人们期望的那样被用于解决网络或网络安全问题。目前，只 有人工智能的一个分支———机器学习，正在成功地应用于解决一小部分问题。有监督的 ML 已经提供了 许多有趣的实用解决方案，然而，正在进行的研究，特别是对无监督的 ML 的使用，其最终目标是在检测 威胁时尽可能减少人类的交互。提升安全性、让人工智能更接近预期目标的唯一可行方法是不断研究和 寻找能提供上下文、专业知识和增强数据可视化的新技术，以及实现与数据科学技术和 ML 增强数据分 析的更紧密集成。

---

---