安全信息与事件管理（SIEM）技术解析与发展分析

【Updated @ 2018-3-28：修改错别字，修复原文中失效链接】

【摘要】本文首先通过分析SIEM技术的定义，分类及发展历史，阐述了安全事件管理、安全信息管理、日志管理等技术。然后，本文提及了安全集中管理、安全设备管理、安全管理平台（SOC）技术，并分析了他们与SIEM之间的历史和逻辑关系。

1、SIEM的发展与成因
要说明什么是SIEM（Security Information and Event Management，安全信息与事件管理），必须从SIEM的发展历史说起。

最早的日志管理
在SIEM技术产生之前，就有了日志，当然就有了日志管理之说。当时，最基本的想法就是收集IT网络资源产生的各种日志，统一收集存储，以备查询。那个阶段，最关键的不在于如何分析日志，而是如何收集日志。因此，在那个阶段，更多地是讨论syslog协议的问题，是讨论日志格式的问题。于是出现了很多基于这些技术的开源项目，例如kiwi syslog, syslog-ng等等。
那个时候，人们更多的关注于日志格式的归一化及其标准，于是作出了最早的尝试，例如WELF，ULM，SEXP，RFC3080，IDMEF，XLF等等。

SIM和SEM
到了上世纪90年代末，开始出现了SIM（Security Information Management，安全信息管理）和SEM（Security Event Management，安全事件管理）两个技术。这些技术建立在最早的日志管理之上，并更多地关注日志采集后的分析、审计、发现问题，开始将日志分析的功效发挥出来。这个时候最热门的技术是事件关联技术，但在当时在产品化方面还比较初级，多见于研究领域。这个时候，在日志采集方面还提出了一个需求，就是异构日志源的采集——事件归一化的问题。在SIM和SEM发展的早期，两者是分开的，有不同的安全厂商专注于两个不同的方向。当时，比较公认的理解是：SIM注重安全事件的历史分析和报告，包括取证分析；而SEM则更关注实时事件监控和应急处理，更多的强调事件归一化、关联分析。也就是说，尽管都是一种日志分析的技术，但是SIM和SEM关注的分析角度不同，SIM重历史分析，SEM重实时分析。

从2005年开始，Gartner提出了SIEM的概念，首次将SIM和SEM整合到了一起，并对SIEM进行了MQ矩阵的分析。尽管如此，Gartner还是在2006年的报告中对SIM和SEM进行了区分：SIM和 SEM的最大区别在于采集日志源的不同。SIM关注于主机系统和应用的日志；而SEM则关注于安全设备，尤其是网络安全设备的日志。
到了2009年，Gartner再做MQ矩阵的时候，SIM和SEM的定义改变了。这个时候区别的关键不在于日志源，而在于满足客户需求的不同。SIM关注于内控，包括特权用户和内部资源访问控制的行为监控，合规性需求更多些；而SEM则关注于内外部的威胁行为监控，安全事故应急处理，更偏重于安全本身。——我们可以将这个认定为SIM和SEM的最新定义。

SIEM——SIM和SEM技术的融合
随着SIM和SEM的不断发展演化，目标客户及其需求的界限越来越模糊，两者之间的区隔也就越来越小。最后Gartner将他们的概念融合到了一起。在融合之后，我们可以借鉴Gartner的SIEM分析报告来给现在的SIEM一个描述性定义：
SIEM为来自企业和组织中所有IT资源（包括网络、系统和应用）产生的安全信息（包括日志、告警等）进行统一的实时监控、历史分析，对来自外部的***和内部的违规、误操作行为进行监控、审计分析、调查取证、出具各种报表报告，实现IT资源合规性管理的目标，同时提升企业和组织的安全运营、威胁管理和应急响应能力。

日志管理（Log Management）
随着SOX法案的颁布，以及其他各种合规性需求不断走强，在传统的日志管理概念和SIEM之上又发展了除了新的一代日志管理（Log Management, 简称LM）技术。这个时期的LM重点强调的是日志的全部收集、海量存储、原始日志的保留，快速检索分析，借鉴了搜索引擎的技术。为了提升事件入库的速度，放弃了严格的事件归一化，当然，这样不可避免的加大了后续分析的难度，因而它强调历史分析，而不是很注重实时分析（性能不行，分析不过来）。但是由于一些新技术的引入，历史分析比较快。这些技术的发展缘由十分明显，就是为了满足客户的合规性需求。由于这个市场驱动力在北美十分强劲，这些厂商迅速发展，以至于改变了SIEM的发展格局。

LM和SIEM的融合
随着SIEM技术的不断发展，当前，SIEM与LM已经基本没有本质区别，主要都是在具体的产品规格上有所差异。在2009年的Gartner的MQ分析报告中，LM已经被整合到SIEM中去了。

小结
综上所述，目前，我们可以将SIEM理解为SIM、SEM和LM三类子技术的集合。他们之间虽然略有差异，产品规格稍有不同，但是基本上都是为了同一类客户需求，属于同一个安全细分市场。

2、SIEM的发展历史与市场成熟度分析
正如SIEM的概念不断演变一样，SIEM的发展也经历了一个从兴起到失落，再到成熟的发展过程。目前，SIEM已经进入了成熟期。
SIEM技术产生后，在2004～2005年间达到了被追捧的最高潮。
如下图所示，是Gartner在2006年绘制的信息安全Hype Cycle，其中，可以看到当时SIEM正处于高潮后的失落期——第三阶段。在英文中，Gartner Hype Cycle的第三阶段Through of disillusionment既有幻灭，也有觉醒的意思。两者是关联的。
 

当然正如所有真正能够满足用户需求的技术一样，经历这次阵痛之后的SIEM技术及其依托SIEM的SOC越发显示了其生命力。在不断的质疑和反思中，逐步成熟起来。
根据Gartner2008年关于信息安全的Hype Cycle曲线分析显示，全球SIEM市场趋于成熟，还有不到两年就将成为业界主流产品，如下图所示：

相对而言，SIEM的技术发展（包括概念定义）在国内也基本上经历了一个类似的过程，并且一般要落后3年左右。同时，国内SIEM技术的发展还与SOC（Security Operations Center）的发展紧密交织在一起。对于SOC的发展成因，将令文论述，其中关于SOC最早的起源可以参见文章《三论SOC的起源》。　

3、SIEM和安全集中管理　

安全集中管理，有的也叫集中安全管理，或者叫安全设备管理平台，是与SIEM同期发展起来的一个技术。从前面的分析我们可以看出，SIEM技术主要是收集异构的安全日志和事件，进行分析和预警。那么，如何对这些异构安全设备，甚至是IT网络环境进行集中的控制呢？这就是安全集中管理要解决的一个主要问题。一个安全集中管理平台包括日志收集分析和策略控制下发两个部分。公安部有个《安全管理平台检验规范》也涉及了这两个部分。在国际上，也是如此，在2000年之后，与SIEM技术同级的安全策略管理类技术被称作企业安全管理（ESM）技术。ESM技术主要强调了是对安全设备的统一运行监控、统一策略下发，尤其是要能够针对异构的安全设备进行集中管理。
可以说，安全集中管理技术包括了SIEM和ESM两个部分。

但是，安全集中管理技术的ESM分支发展远远不如SIEM分支发展顺利。主要原因之一就是安全设备的策略管理没有统一标准的接口。CheckPoint最早做了这样的管理系统（Provider-1），但是只能管理他自己的防火墙。后来他推出了一个OPSEC标准，可惜没有人理会，未能成为业界的事实工业标准。而那些标准化组织的各种尝试都不了了之。

ESM类产品最典型的代表是SolSoft，一个旨在进行异构安全设备策略下发的软件。不过该系统没有能够发展起来，后来被多次收购，已经蜕变成为了一个专有类产品。而ESM这个技术名词也渐渐淡出了历史舞台，鲜有提及。现在即便有说到ESM，也不是指当初那个技术了。在我们早期做的《安全集中管理系统调研报告》中，有这类产品的一些调研分析。

现在的ESM主要都是各个安全设备厂家自有的技术，针对各家自己的安全设备进行集中监控和策略下发，无法实现异构。

4、从SIEM和安全集中管理到安全管理平台（SOC）
安全管理平台的概念厘清
由于国外SOC概念的引入，在国内SIEM和安全集中管理技术发展的初期就与SOC这个概念紧密联系在了一起，这是由于国内特殊的需求、市场发展导致的，因而也与国外市场发展轨迹有所不同。在国内，一般都将安全管理平台与SOC（Security Operations Center）等价看待。而安全管理平台也有很多称呼，例如安全管理系统，安全管理中心，安全运维管理，安全运营中心，SOMC（安全运营管理中心），SMP（安全管理平台），安全一体化集中管理平台，等等。他们基本上都是一类技术和产品，都是在SIEM和安全集中管理技术之上的Security Operations Center（注意：这里不适合用SOC缩写）的技术支撑平台，我们不妨称作安全管理平台，简称安管平台。换言之，安全管理平台是指安全运营中心（Security Operations Center）的技术支撑平台。不做特殊性说明，一般会将安全管理平台直接称作SOC，请注意并不代表安全管理平台就真的等同于SOC，SOC不仅包括安全管理平台（技术支撑平台），还包括流程、组织、场所、人员等等多个方面的内容。
由于受到国外SOC建设的影响，国内的安管平台所涵盖的技术领域不仅包括SIEM技术（事件分析、威胁分析），还有风险管理技术（资产定义、量化风险分析）、运维管理技术（工单流程、知识库）、安全设备管理技术（监控、策略下发）。有的大的安管平台还包括了网络管理、业务服务管理（BSM）、应用性能管理（APM）、策略管理、配置管理、变更管理、基线管理、绩效管理，等等，这些扩展大都属于IT运维管理技术。

安管平台的未来发展
从目前的技术发展趋势来看，未来的安管平台将会跟网络管理、安全审计、4A、IT运维等技术融合，因为他们都有相同的管理技术特性，并且逐步去符合ISO20000和ISO270000的相关要求。
从用户需求的角度看，安管平台将逐步去与用户的业务服务，逐步与业务结合，为实现用户的IT战略服务。风险，合规，内控，态势监控，整体安全都是客户的需求与目标。