2019独角兽企业重金招聘Python工程师标准>>> 
什么是日志
简单地说，日志就是计算机系统、设备、软件等在某种情况下记录的信息。具体的内容取决于日志的来源。例如，Unix操作系统会记录用户登录和注销的消息，防火墙将记录ACL通过和拒绝的消息，磁盘存储系统在故障发生或者在某些系统认为将会发生故障的情况下生成日志信息。日志中有大量信息，这些信息告诉你为什么需要生成日志，系统已经发生了什么。例如，Web服务器一般会在有人访问Web页面请求资源（图片、文件等等）的时候记录日志。如果用户访问的页面需要通过认证，日志消息将会包含用户名。这就是日志数据的一个例子：可以使用用户名来判断谁访问过一个资源。通过日志，IT管理人员可以了解系统的运行状况，安全状况，甚至是运营的状况。
日志的重要性
在一个完整的信息系统里面，日志系统是一个非常重要的功能组成部分。它可以记录下系统所产生的所有行为，并按照某种规范表达出来。我们可以使用日志系统所记录的信息为系统进行排错，优化系统的性能，或者根据这些信息调整系统的行为。在安全领域，日志可以反应出很多的安全攻击行为，比如登录错误，异常访问等。日志还能告诉你很多关于网络中所发生事件的信息，包括性能信息、故障检测和入侵检测。日志会成为在事故发生后查明“发生了什么”的一个很好的“取证”信息来源。日志可以为审计进行审计跟踪。
被低估的日志
在很多企业环境中，日志没有得到重视。日志往往在日常工作中被完全忽视，仅仅在磁盘空间不足的时候才会引起人们的注意。而在这个时候它们往往未经查看就被删除了。某些情况下，日志中的一些消息可能指出磁盘满的原因。很多人都有过查看已被入侵的机器的经历，在询问日志保存的位置之后，我们会听到：“噢，它们只会占据空间，所以我们把它们删掉了。”在大多数这种情况下，我们没有什么可做的。
为什么日志不受重视呢？这是有很多原因的。首先是领导的重视程度，在中国大多数领导重视的是业务，而不是运维或者安全等。其次是日志以各种形状和大小出现，有时候很难从中提取信息，日志的内容不好理解。syslog数据可能相当糟糕，因为大多数数据都是自由格式的文本。从syslog中获取有用的数据需要花费一些精力，而且需要处理的数据量可能很大。例如，有些网站每周会收集几个GB的日志数据，有的可能一天内就能达到这样的量级。这样的数量似乎令人不知所措，大多数管理员最终往往根据特定的时间内看到的东西，根据经验写出一些脚本来寻找一些随机的东西。
为什么需要日志分析
从运维角度来看：
一个成功的软件，全力开发的时间可能占其整个生命周期的1/4还不到，软件发布后要运维（Operation），运维的数据能反应开发，同时，开发的时候也得考虑可运维性，其中非常重要的一点是日志，没有日志，运维就瞎了大半。所以在运维的过程中基本上是靠日志来判断问题，解决问题。
日志对业务分析也是非常重要的，比如一个网站，网站的历史访问情况，新增访问情况，哪些页面访问最多等等。
从安全角度来看：
安全产品的零散性
安全领域的特点，即他和现有的所有层面的IT技术和产品都有关联，他和网络技术、主机操作系统、应用软件、人为管理、个人PC、服务器、内容安全、电话网等所有领域都有关系，因此几乎没有一个厂商能够将自己的安全产品覆盖到所有领域，安全有无数的细分领域：防火墙、入侵检测、扫描器、SSO、审计、补丁管理、集中认证、一次性口令、LDAP、加密存储、链路层加密、防毒、内容安全、sniffer、forensics、PKI、安全服务、策略管理等等，每个领域都有一个最强大的厂商，在这样一个零散的环境中，你必须面对每个厂商不同的管理界面和终端，这是一个非常大的挑战。
海量数据带来的效率低下
安全产品部署的过程中，最为严重和突出的现象是会出现大量的安全事件，一个标准的网络入侵监测系统采用缺省的策略，在一个百兆的链接上每天可能产生超过千万数量的事件，海量的数据常常让我们的安全产品变得没有任何意义，即使经过调整和优化的策略，也充斥着无意义数据和误报。入侵监测等安全产品也正是因为这种原因被人诟病。有些无效数据是由安全产品的机制自身导致的，他本身无法彻底解决该问题，企业面临的难题是，必须减少但不丢失安全事件，这样才能让我们对安全产品的管理变得可能和有效率。
日志格式不统一
每种设备类型的日志格式都不相同，各有各的表达，即时是表达同一件事情，也都有各自的表达方式。例如同样的登录失败信息，防火墙中的描述和主机操作系统中的描述格式就可能根本不相同。这迫使审计人员去了解每种设备类型的格式。
国家法律法规要求
GB/T 22239-2008《信息安全技术 信息系统安全等级保护基本要求》对于二级以上信息系统，在网络安全、主机安全和应用安全等基本要求中明确要求进行安全审计。而日志审计是符合这些要求的基本手段。
《互联网安全保护技术措施规定》（公安部82号令）第八条要求具备“记录、跟踪网络运行状态，监测、记录用户各种信息、网络安全事件等安全审计功能”。 l
《商业银行内部控制指引》第一百二十六条指出“商业银行的网络设备、操作系统、数据库系统、应用程序等均当设置必要的日志。日志应当能够满足各类内部和外部审计的需要”。
《银行业信息科技风险管理指引》 第第二十七条要求银行业应制定相关策略和流程，管理所有生产系统的日志，以支持有效的审核、安全取证分析和预防欺诈。
《保险公司信息系统安全管理指引（试行）》第四十四条要求“对主机系统进行审 计，妥善管理并及时分析处理审计记录。对重要用户行为、异常操作和重要系统命令的使用等应进行重点审计”。
《网络安全法（草案）》第三章网络运行安全中第一节一般规定的第三条要求“采取记录、跟踪网络运行状态，监测、记录网络安全事件的技术措施，并按照规定留存网络日志”。
《萨班斯（SOX）法案》404条款，公司管理层建立和维护内部控制系统及相应控制程序充分有效的责任；发行人管理层最近财政年度末对内部控制体系及控制程序有效性的评价。（注：在SOX中，信息系统日志审计系统及其审计结果是评判内控评价有效性的一个重要工具和佐证）
通过以上分析，可以得知日志分析还是很重要的，所以要尽早把日志利用起来。
赛克蓝德日志分析软件(secilog)可以免费给大家使用，也欢迎赞助。