把互联网搜索引擎技术应用到企业内部网络

计算机技术、网络技术、信息技术已经成为各个组织和机构建设中必不可少的组成部分，甚至相当一部分组织和机构把信息化建设看成组织和机构建设的重中之重。因为互联网，信息化都给组织和机构带来了海量的，即时的各种信息，但是不是所有信息是有用的，因此很多组织和机构为了有效的管理这些海量的信息，并使之成为组织和机构有用的信息，现在都在进行 IT 数据整合的项目，也就通常大家都提到过的数据大集中。

同时，随着信息架构与应用系统日渐庞大，现行 IT 架构中，早已不是单一系统或是单一设备的单纯环境，组织中往往使用许多不同的 Log Management 对应不同系统、设备与应用的需求，然而除了成本扩张外，每年的维护与人力资源的投资，都是一笔可观的费用成本，既使组织可以暂时获得单一事件或需求上的满足，对于结合异质系统、平台的问题上，却又需要花费大量的人力时间，对于问题解决的时间花费与异质平台问题查找，都无法有效管理与降低成本。

 因此在数据大集中背景下，如何使组织和机构的 IT 数据进行整合，管理，维护，分析并使之再生效益。那就是使用目前大家都耳熟能详的一种技术 ----- 搜索。

    随着组织和机构信息化建设的规模越来越大，购买的各种设备也越来越多，各种类型的设备不一而足，即便是同一种类型的设备都可以分为好几种品牌。例如基础网络建设中，需要采用，路由器，交换机，接入链路等，而路由器又有思科，华为， Juniper 等品牌；而安全和应用层 IT 建设中，组织和机构会需要防火墙，负载均衡器，代理网关或入侵防御等设备，而光负载均衡器市场就有 Radware ， F5 ， Array 等 6 ， 7 个品牌。

因此当一个中大型组织和机构面对如此众多但又比不可少的 IT 设备时，对于 IT 的网管人员管理的难度是可想而知，他们迫切需要一个综合的数据平台，能够统一查看这些设备的状态，而不需要每天都都到设备上登录一次；需要一个能当这些设备出问题时，快速定位出问题所在的机制；需要一个能快速生成报表，并且能够整合多台设备数据生产报表的系统。

    同上述IT设备来说，服务器和数据库的数据管理也是大同小异，甚至比这些设备的数据更难管理。对于网管人员同样会遇到大量服务器，而这些服务的数量甚至远远超过了IT设备的数量，因此每日查看这些服务器的状态，查找是否有服务器出现问题，并对出问题的服务器进行人工的日志分析，并需要定时为这些服务手工生成报表，都为网管人员的工作带来大量低技术含量并重复率极高的内容，使网管工作经常性陷入一种无意义的瞎忙状态中。

   对于数据库管理员来说，组织和机构里数据库可能没有服务器那么多，但是其管理工作的难度也非常高，因为数据库里的信息是组织和机构最重要的信息，其需要安全程度可想而知，但是由于数据库必须要接受各种类型的人物来访问，因此数据库管理人员对于这些访问信息非常关注，比如每天都有什么人来访过，有多人被拒绝了，都什么时间段来访问的，访问的过程中都执行了什么命令，这些访问都使用了什么 IP 地址，发生了多少次数，数据库的某些关键信息是否有被改动的记录等等。而这些信息都不是数据本身能够提供，需要耗费数据库管理员大量的时间才能统计出来，有的甚至无法统计，因此数据库的数据管理也是大型组织和机构亟待解决的问题。

 组织和机构为了信息化建设，将会开发各种IT业务系统，旨在提升工作效率，减少繁复的工作流程，整合组织和机构各种资源，最终提升整个组织和机构的生产力，为组织和机构带来效益。但是随着信息化建设的不断扩大，这些业务系统也逐渐变多，变大，例如，组织和机构会有OA系统，ERP系统，CRM系统，邮件系统，财务系统，公文审批系统，组织和机构门户网站等等。同样这些IT业务系统会产生大量的IT数据，而这些IT数据又是非常重要的，因为其关系组织和机构各个业务流程的具体运营状态，如果一个系统出现问题将有可能导致整个组织和机构停摆。

而网管人员对于这些组织和机构业务系统产生的各种数据，管理起来更是头大，因为这些业务系统由于开发方式，开发的组织和机构和开发工具不同产生的数据是各式各样的，因此对于这些数据的归档，整合和联合分析都有着巨大的难度。但是这些又是势在必行的，因为这些系统的各种状态对于组织和机构正常运行起着巨大的作用，比如，领导可能想即时的看到 ERP 系统中某产品近半年的销售状态，想了解 CRM 系统中某客户近一年内和本组织和机构的生意往来，想知道今天有没有人利用 Mail 系统发垃圾邮件，有知道某个销售一个季度的业绩，想了解组织和机构的门户网站都有多少人来访问，都来自那些地方。

 而这些需求如果仅仅靠网管人员和其现有的工具来实现，简直比登天还难。       

     最后一部分，就是组织和机构开发的这些业务系统的支撑软件产生的各种 IT 数据，例如下述如 BEA ， SAP ， Vmware ， Exchange ， Websphere ，， Weblogic ， Veritas ， Apache ， IIS ， Tomcat 这些软件等等。对于一个中大型组织和机构拥有这么多类型软件并不是一件什么新鲜事情。但是对于系统维护人员，或者网管人员来说可以算是一种灾难，因为这些软件都是个组织和机构各种业务息息相关的，任何一个软件出现问题，都会导致组织和机构的某一个业务系统停顿，对组织和机构正常运行产生负面影响，给组织和机构带来各种损失。

     因此，对于这些软件产生的 IT 数据，组织和机构需要一个综合的数据管理平台，能够利用这些软件的数据进行相关联性的分析，能够在这些软件出现问题时最快速找到问题，能够定时的为这些软件产生运行状态报表，能够通过分析这些数据为组织和机构的领导进行信息化建设时提供数据支持。    

 诸如 FFIEC 、 FISMA 、 HIPAA 、 PCI 和 SOX 之类的法规遵从强制规定，皆不断针对监控、报告及审核记录检查工作加入新的要求。但要完全符合这些要求，通常是相当困难且需付出高成本。而您所需的 IT 数据往往散布于系统各个角落，难以有效存取、分析及管理。

此外，若必须同时兼顾其它控管领域的法规遵从，还必须对由防火墙、存取控制系统及应用程序所产生的系统管理日志文件，产生访问控制操作报告。而这些系统所产生的日志文件，往往具有不同的格式和储存位置。每位审核员的请求，亦涉及截然不同的手动程序。

 也许您正饱受组织内部产生的脚本所造成的 IT 数据问题，并发现持续维护会影响 IT 资源。即使采用商业日志文件管理系统方式，亦会发现其极为僵硬且功能受限。其无法处理自定应用程序，并需要持续的维护，才能跟上变化的脚步。

    除了明确的记录规定外，对于生产系统的限制存取规定具有更大，但却常被低估的影响力。若拒绝开发人员及应用程序系统管理员存取生产系统以分析日志文件及配置，将会阻碍其发现及修正与获益服务相关问题的努力。若仅着重于监控及检查法规遵从性数据的日志文件管理方式，对于弥补这种营运缺口则毫无帮助。

 Splunk 是专门设计给组织和机构使用的 IT 搜索引擎 (Search Engine) ，它将雅虎、 Google 的搜寻技术与概念发扬光大，如今组织和机构可以用 Splunk 来管理复杂的 IT 系统。 Splunk 的软件能自动收集由各种服务器、网络设备和软件产生的数据与日志。 Splunk 的设计与使用概念就像是 Google 谷歌搜索引擎一样，组织和机构一旦安装 Splunk 的 IT Search Engine 之后， IT 人员就可以透过 Browser 使用 Splunk 并对组织和机构的各种 IT Data 进行关键词 (Keyword) 搜寻，快速地得到所需要的数据，除此之外 Splunk 本身还具有计算 (Computing) 能力，管理者可以透过 Splunk 将搜寻所得的结果立即做运算处理，产生各种报告、图表与警示，而且还可以设定 Splunk 进行排程定时搜寻，并将结果以 Email Alert 方式通知相关人员。

Splunk 的 IT Search Engine 设计打破过去传统 IT 管理的方式，也突破过去各种 IT 管理工具如 IBM Tivoli, HP OpenView, CA UniCenter 的使用方式，用简单易懂的关键词 (Keyword) 搜寻方式，来协助 IT 人员找寻与解决 IT 问题。使用者不仅可以透过 Splunk 进行 IT Search ，还可以透过它的 SplunkBase 与 API 来开发相当多种的应用工具。市场上多认为 Splunk 将会是未来组织和机构 IT 管理的主要工具。

    管理的真谛是简化流程。 Splunk IT Search 是一个全新的概念，藉由功能强大的搜索引擎，能够协助管理人员快速搜寻各种应用系统、网络设备所产生的大量 IT data * ，透过各种相对应的关联性来找出各种 IT 事件的源头，进而协助管理人员解决 IT 营运会遇到的各种问题。