为什么需要专业的日志审计与分析工具【修订版】

 当今的企业和组织在IT信息安全领域面临比以往更为复杂的局面。这既有来自于企业和组织外部的层出不穷的入侵和攻击，也有来自于企业和组织内部的操作违规和信息泄露。
      为了不断应对新的安全挑战，企业和组织先后部署了防病毒系统、防火墙、入侵检测系统、漏洞扫描系统、UTM，等等，这些复杂的IT资源及其安全防御设施、包括网络设备、系统及应用在运行过程中不断产生大量的日志和事件。这些日志对于网络的正常运营非常重要，它记录了系统每天发生各种各样的事情，你可以通过它来检查错误发生的原因，监控用户的使用行为，发现异常情况或者受到攻击时攻击者留下的痕迹。
      尽管审查日志可以帮助管理人员发现很多安全入侵和违规行为，但是由于这项工作对于管理人员的专业技术水平较高，往往很难普及，大多数情况下只能作为专业安全服务公司提供的一项服务。
      此外，从信息与网络安全的发展趋势来看，网络攻击的手段越来越多样化，并且攻击手法越来越隐蔽，并且攻击者可以借助不同的技术手段设置多重跳板，追查变得无比困难。从企业和组织内部来看，各类IT资源，设备飞速膨胀，设备本身产生的日志数量也呈指数级增长，且设备的日志审计都相对孤立，无法形成有效的关联，其单独的日志分析结果对安全问题没有太大帮助，而海量日志的产生也使分析成为空想，导致日志只能简单丢弃，使网络安全的检测与审计变为空谈。
      可以说，当前复杂的业务网络环境使得即便是有经验的安全专家也难以透过传统的日志审查方式去审计网络安全，而必须借助提高日志审计效率的外部工具。

      针对上述挑战，网络上出现了各种日志收集、分析和审计工具，并且很多是开源和免费的。那么，这些免费的日志审计工具，甚至是一些功能简单的商业产品，是否能满足日常的日志审计和分析需要呢？
      在回答这个问题之前，先让我们来看看一个日志审计系统应该由哪几部分组成。
      对于一个日志审计系统，从功能组成上至少应该包括信息采集、信息分析、信息存储、信息展示四个基本功能：
1) 信息采集功能：系统能够通过某种技术手段获取需要审计的日志信息。对于该功能，关键在于采集信息的手段种类、采集信息的范围、采集信息的粒度（细致程度）。
2)信息分析功能：是指对于采集上来的信息进行分析、审计。这是日志审计系统的核心，审计效果好坏直接由此体现出来。在实现信息分析的技术上，简单的技术可以是基于数据库的信息查询和比较；复杂的技术则包括实时关联分析引擎技术，采用基于规则的审计、基于统计的审计、基于时序的审计，以及基于人工智能的审计算法，等等。
3)信息存储功能：对于采集到原始信息，以及审计后的信息都要进行保存，备查，并可以作为取证的依据。在该功能的实现上，关键点包括海量信息存储技术、以及审计信息安全保护技术。
4)信息展示功能：包括审计结果展示界面、统计分析报表功能、告警响应功能、设备联动功能，等等。这部分功能是审计效果的最直接体现，审计结果的可视化能力和告警响应的方式、手段都是该功能的关键。

      在了解了日志审计系统的基本组成之后，我们可以来看看免费和简单的商业日志审计工具在以上基本功能点上的表现：
 1）从日志的收集方面看，这些工具和产品支持的手段比较单一，仅支持一些常用的方式如Syslog、SNMP。手段单一会造成有些日志信息无法采集，例如对存放在数据库或者文件中的日志就不能很好的收集。另外，这类工具收集的性能也比较低，日志量一大，就无法处理了。
2）从日志的存储方式看，这些工具和产品一般把收集来的日志重新存成文本格式，而又没有搜索引擎作为支撑，因此，无论查询和分析都非常困难。有的借助数据库技术，但是没有进行特别的优化，仅仅借助传统关系型数据库自身的表现，难以快速检索和分析海量的日志。同时，这类工具和产品也无法提供归档和恢复功能，对长时间的日志保存提供不了解决方案。
3）在日志分析方面，想要通过这些工具和产品来发现攻击进行报警就更困难了。例如我们要发现在一段时间内某用户重复多次登录同一台服务器都失败的日志告警，这是一个不特定的告警条件，没有明确的用户名，没有明确的服务器地址，达到条件的都需告警，对一般的日志工具和产品来说这根本是完成不了的任务。
4）作为简易的日志审计工具，主要功能在于提供一个低成本的日志收集方案，存储、分析和展示能力都大大弱化了。这些日志审计工具一般都缺少易用的操控界面，只提供基于条件组合的查询，并且都以表格的形式一行行地将符合条件的日志显示出来，只能称得上是日志查找。一旦日志量大了，条件复杂了，查找效率便无法保证。

       事实上，在我们参与的日志审计及IT内控项目中，大部分客户之前都或多或少地采用了一些免费的和简易的日志采集分析工具。而由于网络环境的日益复杂，以及来自外部的IT内控与合规审计需求日趋强烈，这些客户都无一例外地转而寻求获得更加专业的商业解决方案。
      应该说，免费的或者简易的日志审计工具也有其用武之地，一般用于小规模的日志采集和存储的场合，以及一些进行辅助性日志收集的场合。对于关键业务信息系统和网络的日志信息，对于用来做合规审计的日志信息，对于海量的日志信息，对于异构环境下的多源日志信息，简易日志工具都难以胜任，此时的日志审计和分析必须使用专业的日志审计和分析工具。
     
      那么，专业的日志审计与分析工具都具有哪些优势呢？其实，这些优势也正好是上述简易日志工具的缺陷，包括：
1）日志采集的手段多样化，支持的日志源种类多，适合企业复杂的异构环境所需，日志采集的速度高，处理性能好。
2）具有较强的日志分析与审计能力。如果是采用基于数据库存储的日志分析技术，那么会对数据库存储进行优化，例如存储前的归一化技术，索引技术，按时间划分表技术等。而如果是更加先进的基于内存的实时日志分析技术，则会有一个关联分析引擎，能够实现基于状态机的规则匹配。
3）日志存储能力强，能够存储上百GB，甚至是几个TB的日志量。同时有一套较完备的海量日志归档、备份、检索、统计分析机制。
4）日志分析结果的展示能力很强，例如有的先进产品具有很强的日志可视化技术。所谓“一图胜千言”，通过大量的日志分析图表形象的展示日志之间的内在关系。此外，大部分的专业日志审计产品都有较强的统计分析和报表功能，方便用户进行统计分析，并产生报表报告，供日常运维工作之用。

      综上所述，只有通过专业的日志审计分析工具，我们才能达到如下的目标：
（1）实现对各种IT设备和信息系统的日志的收集，标准化，分类和统一存储。
（2）对各种日志进行实时审计分析，发现违规行为，并能进行告警响应。
（3）对审计信息进行统计分析，提供日志审计报告报表，多角度对网络系统的安全状况进行审计。