【学习笔记】《网络安全态势感知》第二章：网络安全态势感知系统及案例

2.1 网络安全态势感知系统的功能结构

典型的网络安全态势感知系统功能包括特征信息提取、当前状态分析、发展趋势预测、风险评估、模型及管理和用户交互六个部分。

2.1.1 特征信息提取

对于资产维度、漏洞维度、威胁维度的网络安全数据，需要针对不同的网络安全要素设计对应的规则，提取符合特征的数据，从而实现针对关键信息的靶向数据采集。（靶向数据：特定目标数据）

在提取了不同维度的数据以后，需要对多个维度的数据进行融合，融合过程包括数据清洗、数据集成、数据规约和数据变换。

（1）数据清洗
数据清洗是为了去除数据集中的噪声数据、内容不一致的数据、对遗漏数据进行填补。
（2）数据集成
数据集成是对格式不一致的数据进行处理，并将分散在多个数据源中的数据集成到一个具有统一表达形式的数据集，从而实现从一个统一的视角处理不同来源的数据。
（3）数据规约
数据规约是对数据进行精简，大幅度减少需要处理的数据，突出更为重要的数据。
（4）数据变换
数据变换是将数据从一种表示形式变形为另一种更利于分析的表示形式，从而为态势感知提供更有效的数据表示形式。

2.1.2 当前状态分析

当前状态分析利用系统的自动化模型，通过可视化功能与用户交互，根据用户的交互指令，检测和发现网络中的威胁事件。

当前状态分析主要包括关联分析、攻击检测、取证分析、事件发现等模块。

（1）关联分析
关联分析模块是对资产维度、漏洞维度、威胁维度的信息进行关联，从而实现对网络攻击行为的实时检测，并支持历史网络安全事件的复盘分析。
（2）攻击检测
攻击检测模块是根据已有的多源网络安全数据检测当前网络系统中正在发生的攻击活动。
（3）取证分析
取证分析模块是通过提取历史的网络安全数据，对发生的网络安全事件及相关的威胁数据进行复盘，从而发现或验证网络攻击的历史痕迹。
（4）事件发现
事件发现模块是根据关联分析、攻击检测、取证分析的结果，推导出威胁事件的来源、攻击者和攻击意图。

2.1.3 发展趋势预测

发展趋势预测综合利用自动化模型，通过可视化功能与用户交互，根据用户的交互指令，对攻击和威胁事件的发展趋势进行预测，生成未来一段时间的网络安全态势。

发展趋势预测主要包括攻击溯源和攻击预测模块。

（1）攻击溯源
攻击溯源模块在取证分析模块的支持下，辅助完成对攻击来源、攻击路径、攻击模式的分析，为发展趋势预测提供实证分析功能。
（2）攻击预测
攻击预测模块利用预测模型，辅助实现对当前及假定攻击的预期目的、未来行为的分析。

2.1.4 风险评估

风险评估旨在对正在发生的网络安全事件或威胁行为可能造成的安全风险进行评估，并将网络系统的整体安全态势因子（网络安全度量指标）映射到一个量化的风险维度。

按照评估维度和目标的不同，风险评估可以分为定量评估和定性评估。

（1）定性评估
通过评估者与安全人员的多次交互，依据评估者的知识和经验等非量化指标，对攻击或威胁的风险进行评估。
（2）定量评估
运用数据指标对攻击或威胁的数据元素，通过数学方法或数学模型进行计算，生成攻击或威胁的风险值。

2.1.5 模型及管理

模型及管理是对认知过程中的本体模型和预测模型及评估模型的数据规范、功能接口、模型存储与更新等进行定义和管理。

（1）本体模型
主要面向状态分析，对态势感知中的关键概念、实体、语义等进行统一的规范化定义和表示，以支持后续的推理和发现。
（2）预测模型
定于用于攻击预测的事件和关系的表示形式与方法。
（3）评估模型
用于定义模型和威胁风险度指标体系以及资产与任务度量指标体系。

2.1.6 用户交互

用户交互负责完成态势感知系统的可视化功能，以便用户与网络安全态势感知系统进行交互、展示当前网络安全态势感知、预测未来态势、评估安全风险、对攻击行为溯源等。

2.2 网络安全态势感知系统的关键技术

关键技术主要包括数据采集与特征提取、攻击检测与分析、态势评估与计算、态势预测与溯源、态势可视化。

2.2.1 数据采集与特征提取

1.数据模型的定义
主要针对需要采集的数据格式、内容进行定义，通常需要定义数据结构、数据操作和数据约束。
（1）数据结构：描述了数据的类型、组成、性质和数据间的关系，并从概念语义和实现技术上对数据操作和数据约束提供支持。
（2）数据操作：在数据结构的基础上，针对不同类型的数据进行计算、推理约束和规则，是对操作符和操作方法的无歧义性约定。
（3）数据约束：在数据结构的基础上，结合业务语义，定义不同类型、不同结构的数据的数值、词法、语法、关联关系、依存关系的取值、计算和推理约定，确保数据正确、有效和相容。

数据模型涉及定义主体业务数据、定义数据输入/输出格式、定义数据收集与集成模式等。通过规范统一的数据模型定义，可以解决由于网络安全态势感知中需要处理的多种传感器、异构数据源、高速大流量数据流而给数据采集和信息融合带来的难题。另外，也可以拓展数据模型的内涵，使其包含实体和关系，进行规范数据分析和可视化范式，支持威胁评估。

数据模型不仅需要定义实体、事件、任务、结果等主要业务数据的格式和语义，还需要定义与实体和事件的上下文语义相关的信息。

2.数据采集
又称数据获取，指从传感器和其他待测设备等被测单元中自动采集信号，送到上位机中进行分析和处理。

根据采集的数据规模，数据此埃及可以分为采样式数据采集和全样本数据采集。
（1）采样式数据采集：间隔一定时间或空间对同一采集点重复采集；
（2）全样本数据采集：收集采样点的所有状态数据。

针对不同维度的数据，目前采集方式有日志采集方式、协议采集方式、利用集成化网络采集工具的采集方式等。

3.数据融合
数据融合能够剔除冗余数据、对数据格式进行标准化处理、变化数据等，从而实现对网络安全事件的一致性描述。
数据融合的方法有很多，比如贝叶斯网络、D-S证据理论、粗糙集理论、“安全态势值”的方法、“赛博空间入侵者”的方。

数据变换是对数据进行规范化归并或转换，以便于后续的数据分析、统计和信息挖掘。

2.2.2 攻击检测与分析

在网络安全态势感知中实现攻击检测和分析，需要对人类的认知过程进行建模，采用抽象的概念模型进行表示，建立符合网络安全态势感知的认知模型，以便支持基于模型的攻击检测与分析。

相关的技术主要包括本体模型、认知模型、关联分析、攻击检测。
1.本体模型
本体模型是从客观世界中抽象出来的一个概念模型。
这个模型包含某个学科领域内的基本术语和基本术语之间的关系（或者成为概念及概念之间的关系）。
本体不等同于个体。本体是团体的共识，是相应领域内公认的概念集合。概念集合的内涵有四层含义：将相关领域的知识表述为概念；通过概念表述的知识应明确且没有歧义；要将知识形式化地表述出来；知识的表达是要利于共享的。

本体模型能够全面有效地描述网络安全态势，将网络安全各类数据和指标要素抽象分类并归纳为实体、属性、关联关系，建立由安全事件的上下文环境、攻击行为的特征信息、当前已知的和系统现存的漏洞静态信息，以及目标网络的历史和当前流量数据等组成的网络安全态势描述模型。

2.认知模型
认知模型是人类对真实世界进行认知的过程模型。
在认知行为中，通常包括感知对象、注意目标、形成概念、知识表示与推理、记忆留存与更新、信息传递与共享。
人们通过建立认知模型研究人类的思维机制、与环境的感知交互机制、人与人之间的集体认知机制等，指导设计和实现智能化或智能辅助系统。

构建认知模型是为了将人类分析师理解网络安全态势感知的过程进行自动化建模，从而实现自动化的态势理解过程，以便有效检测网络攻击事件。

3.关联分析
又称关联挖掘，就是在行为记录、关系数据或其他信息中，查找存在于项目集合或对象集合之间的相关关系，包括值相关关系、语义相关关系、共现关系、因果关系等。

关联分析能发现网络安全数据在时间、空间、序列等表层关系，并结合资产维度、漏洞维度、威胁维度的信息，通过安全攻击事件溯源和复盘，发现攻击活动与安全数据、安全事件及攻击模型等的语义关系，从而实现自动化检测网络攻击。

4.攻击检测
攻击检测主要基于日志、流量、负载、协议等数据，通过关联分析和规则匹配方法，识别网络或系统中的恶意行为。
在构建本体模型和认知模型后，通过模型进行推理实现对网络攻击事件的检测。

2.2.3 态势评估与计算

1.态势评估指标体系
它是根据网络安全态势感知中的威胁评估、影响评估、能力评估等，定义相关的指标体系及其评估模型。
一般而言，态势评估指标体系包括从漏洞维度、威胁维度、资产维度建立的度量指标。
（1）漏洞维度的度量指标：包括单个漏洞的度量指标和网络漏洞的总体度量指标；
（2）威胁维度的度量指标：包括单个攻击的度量指标和整个网络面临攻击的度量指标；
（3）资产维度的度量指标：包括工作任务的度量指标和资产度量指标。

2.风险评估与计算方法
风险评估与计算需要根据指标体系中对不同维度评估指标的定义，融合各类安全设备数据，借助某种数学模型经过形式化推理计算，得到当前网络态势中某一目标在某层面上的安全、性能等评估值。

网络安全态势评估可以分为定量评估和定性评估。
（1）定性评估：主要包括问卷调查法、逻辑评估法、历史比较法和德尔菲法。优点是可以挖掘出一些蕴藏很深的思想，得到更全面、更深刻的评估结论。
（2）定量评估：主要包括贝叶斯技术、人工神经网络、模糊评价方法、D-S证据理论、聚类分析等。优点是得到更客观、更科学、更直接的结论。

2.2.4 态势预测与溯源

网络安全态势预测的内容包括对当前正在发生的网络攻击事件的演化进行预测、对未来可能发生的网络攻击行为进行预测，以及对网络安全整体态势进行预测。

网络安全态势感知除了态势预测，还需要溯源。
网络攻击溯源指的是还原攻击路径，确定网络攻击者身份或位置，找出攻击原因。

态势预测与溯源的关键技术为构建预测模型、攻击预测、攻击溯源、取证分析。
1.构建预测模型
预测模型：用数学语言或公式描述和预测事物间的数量关系。
预测模型是计算预测值的直接依据。

在网络安全态势感知应用中，预测模型主要针对攻击事件、攻击对网络部件及业务任务的影响两个方面来构建。

当前基于知识推理的网络安全事件预测主要采用攻击图方法，对攻击行为、攻击能力及意图、攻击模型等进行预测。

2.攻击预测
攻击预测：指根据当前及历史网络安全数据，结合已经形成的网络安全知识，通过推理预测攻击的未来动向，包括攻击路径、攻击目标、攻击意图等。

常用方法有基于时间序列的预测、基于回归分析的预测、基于支持向量机的预测等传统预测方法，以及基于攻击图的预测等知识推理预测方法。

3.攻击溯源
攻击溯源：指利用网络溯源技术查找并确认攻击发起者的信息，包括地址、位置、身份、组织甚至意图，还原攻击路径，找出攻击原因等。

攻击溯源分为应用层溯源和网络层溯源，在将应用层行为体、目标体等关联映射到网络层标识，如IP地址，从而将应用层的溯源活动转化为网络层的溯源操作。

4.取证分析
根据分析的环境目标对象，取证分析可以分为网络取证、系统取证、业务取证。
（1）网络取证：通过网络设备日志，提取分析协议层次的通信行为、路径和流量等特征数据，发现攻击活动的网络轨迹；
（2）系统取证：通过计算机的系统日志，提取分析主机系统内及相关系统间的活动记录，发现针对计算机系统的攻击活动痕迹；
（3）业务取证：通过服务系统的业务日志，提取分析业务软件层面的操作记录，发现穿透网络和计算机系统到达业务系统的恶意破坏行为。

2.2.5 态势可视化

人类通过可视化技术提供的交互手段感知态势信息，包括安全数据的展示、为发现攻击事件而通过迭代进行的数据分析统计等活动。

2.3 典型的网络安全态势感知系统案例

2.3.1 “龙虾计划”系统

龙虾计划（Lobster Program）的全称是Large-scale Monitoring of Broadband Internet Infrastructures，即大规模宽带Internet基础设施监测。该计划旨在欧洲建立一套互联网流量被动监测基础设施，提高对基础互联网的监测能力，为安全事件提供早期预警，并提供准确和有意义的性能测量方法，提高互联网的性能和处理安全问题的能力。

龙虾计划的功能包括对网络性能与可用性的监测，例如，监测流量分布、统计流量、度量应用性能、度量Internet服务质量等。

龙虾计划提供的具体服务包括：
（1）在欧洲部署一个试点互联网流量监控基础设施。
该基础设施安装在NRN（国家无限电网）和可能的ISP（互联网服务提供商）平台以及项目合作伙伴网络平台上。

（2）组织和协调流量相关领域的利益相关者。
龙虾计划构建的流量监测虚拟网络将由主要利益相关者组建，包括NRN、ISP、研究机构和网络设备制造商。
该虚拟网络将能够：①监测基础设施的运行；②通过纳入新成员节点扩展基础设施；③通过转让专有技术支持新成员节点；④培训监测技术人员；⑤制定政策来共享和协作使用基础设施。

（3）提供数据匿名工具，防止未经授权的对原始流量数据进行篡改的行为。
龙虾计划实现的基础设施在最底层提供了数据包捕获软/硬件，在数据到达主机之前对其进行加密和安全检测。在更高的层次上，该工具可以通过某种脚本语言提供独立于应用程序的数据匿名化功能。

（4）提供对已有应用业务的流量监测服务。
服务包括：①精确描述使用动态端口的程序的流量特性；②零日蠕虫检测、预警和跟踪；③欧洲互联网的测量服务；④提供以天为单位的匿名的流量数据摘要，以检测网络整体变化趋势、校准网络模型。

（5）在不同层次宣传和推广该计划的作用和成果。

“零日漏洞”(zero-day)又叫零时差攻击，是指被发现后立即被恶意利用的安全漏洞。

2.3.2 YHSAS网络安全态势分析系统

1.YHSAS1.0（2009年）
该系统结合基础结合基础安全组件的告警、系统日志和网络流量数据，进行多通道数据的关联分析和挖掘，实现了对全网重大网络安全事件的检测。该系统建立了多维度、多层次和多粒度的网络安全指标体系，实现了网络安全态势的实时量化计算。

2.YHSAS2.0（2012年）
基于“网络安全知识大脑”技术实现了对已知安全知识的有效管理和利用，实现了对深度攻击（APT攻击）的检测，实现了从微观到宏观的多层次、多粒度的网络安全态势实时量化评估，突破性地实现了网络安全事件预测技术。

YHSAS的核心功能：①安全信息采集；②安全攻击检测；③态势量化计算；④安全态势分析；⑤安全态势预测。

YHSAS在硬件平台、数据采集、知识管理、多维评估、多模预测等部分中采用了以下技术：
（1）网络空间安全大数据实时分析计算平台技术。
网络安全空间数据是典型的大数据，阻碍大数据实时计算和分析的核心问题是磁盘I/O瓶颈。针对这一问题，YHSAS采用基于“分布式数据处理中间件+已有数据管理技术”的体系架构，并在此基础上插接内存计算、“归分-化约”计算和流计算的数据分析加速模块，支持大数据在线计算和分析，具有高可扩展性和在线插拔等特性。
（2）面向网络安全要素的信息采集与高维向量空间分析技术。
YHSAS提出了面向网络安全的全要素信息采集模型，通过对多维度、多层次的高维向量全信息进行安全特征的提炼和分析，大幅度提高了对复杂安全事件的准确和实时检测的能力。
（3）支持超大规模网络安全知识表示和管理的知识图谱技术。
YHSAS采用网络安全知识表示和管理的超级知识图谱模型，突破了多模态知识图谱的自动/半自动的构建方法，以及在线演化和快速匹配等核心关键技术，构建了一个大规模网络安全知识图谱，实现了网络安全实践的准确、实时检测技术。
（4）多层次、多粒度和多维度网络安全指标体系的构建方法。
YHSAS给出构建多层次、多粒度和多维度网络安全指标体系的构建方法，实现了指数可配置、实时计算和在线演化的方法，能够准确描述和量化大规模网络宏观与微观的网络安全态势。
（5）基于自适应预测模型的多模式、多粒度网络安全事件预测技术。
该技术包括多种预测方式有机结合的网络安全态势预测技术、基于特征事件序列频繁情节的预测技术、基于小波分解及ARMA模型的预测技术、基于改进型支持向量回归预测的多维熵值异常检测方法，实现了对网络安全态势的准确预测。

2.3.3 其他典型系统

1.半人马座系统（CEN-TAUR）：针对特定域网络的态势感知系统。
2.深度网络监控计划（藏宝图计划）：实现一个准实时、交互式的全球互联网地图。
3.怪兽心灵：实时态势感知和自动反击。
4.慧眼系统：综合分析来自图像和非图像传感器及其他来源的信息实现对网络威胁的检测。
5.美国综合网络分析系统（ICAS）：实现了全网络多通路数据源的融合分析，实现对网络安全事件的深度检测。
6.多规模网络安全异态检测系统（ADAMS）:针对网络异常行为进行检测和预警。
7.欧盟袋熊计划（WOMBAT）：构建一个能够在世界范围内的网络中分析恶意软件与恶意活动，实现早期预警的网络平台。
8.“网络态势感知、显示及预测”项目：通过网络数据采集、分析和安全态势感知，利用因果建模方法来支持军队指挥员采取适当主动行动来应对敌方网络攻击。
9.“共享网络安全信息的可信平台”

2.4 本章小结

本章首先介绍了网络安全态势感知系统的功能结构，包括特征信息提取、当前状态分析、发展趋势预测、风险评估、模型管理、用户交互等；然后从技术层面介绍数据采集与特征提取、攻击预测与分析、态势评估与计算、态势预测与溯源、态势可视化等网络安全态势感知系统的关键技术；最后介绍了几个国内外典型的网络安全态势感知系统。
网络安全态势感知系统旨在为防御者提供全面的网络系统安全状态信息，以便于防御者准确、实时地检测攻击事件等。构建网络安全态势感知系统是为了实现针对攻击行为的主动防御，现有的很多关键技术难点还需要进一步突破，例如如何准确高效地预测态势发展趋势、如何判断攻击者意图等，对此类关键技术难点的突破将是实现主动防御的重要环节。