企业数据中心的大数据之惑-【沈阳软件】总第16期

注：本文已经发表在2013年《沈阳软件》总第16期上，作为封面报道发表。

2013年被中国IT界称为大数据年，如果你逢人不谈大数据，好像就已经跟不上时代潮流，会被业界同仁认为是异类，可见大数据多么火热。具体大数据的定义已经有很多种，对业界最好的贡献就是不再添乱，制造出另外一种新定义。为此，我将专注大数据的企业数据中心之旅，和大家一起探讨大数据方案在企业数据中心如何攻克难关，顺利落地生花。

大数据的价值

大数据产生大价值的口号已经震天响，但具体的企业和应用场景产生的价值还是还不同，但大数据的价值总体来说都会让营销更精准、研发更快速、企业竞争力更强。沃尔玛“啤酒和尿布”的案例就是智能营销的典型案例，通过数据挖掘得出的结论，可以帮助沃尔玛更好制定营销方案，更好地满足客户的需求。当然，对客户来说就是更便捷买到自己所需。对于地质勘探等行业，通过大数据的处理，可以快速定位资源位置，确定资源储量等，这显然是提升生产效率，降低探测成本。阿里巴巴通过对用户行为的分析，准确地预言了2008年的金融危机，并采取措施帮助中小制造商准备过冬的粮食，这为不仅为阿里巴巴集团赢得了不少声誉，也帮助它的客户更好应对危机。美国国家海洋和大气管理局（NOAA）每年的IT预算高达10亿美元，主要用于大数据中心的建设，为国家海洋大气策略的制定提供智能支撑。2011年3月11日，日本大地震发生后仅9分钟，NOAA就发布了详细的海啸预警，这都是大数据的神通。可见，大数据确实能产生大价值，在不同的领域、不同的场景都能发挥它的能力，为企业、客户带来巨大收获。

大数据对信息产业及企业的推动作用

大数据是云计算平台上一个很好的应用，大数据的蓬勃发展，不仅仅推动云计算的快速落地，也打破的传统的营销、商务智能等的限制，将新兴的社交媒体、互联网的技术更好地转化为商务智能，为信息产业更好的推动业务发展找到了一条出路。云计算曾让很多用户感觉是“晕计算”，数据量的激增也曾让很多用户束手无策，云计算和大数据的整合发展解决了这个难题，为下一代数据中心的发展指明了方向，成为企业在社交媒体时代的制胜法宝。从此，CIO再也不仅仅是传统的首席信息官，而是可以更深刻地影响企业的业务，成为更炙手可热的首席创新官（Chief Innovation Officer），这对企业和整个产业的影响都是十分深远的。

大数据是云计算的“杀手应用”已经毋庸置疑，大数据的价值也被大家广泛认可。随着企业信息化、社交媒体等新媒体的发展，企业的数据量和复杂性逐渐提升，如何利用这些遍布企业各个环节的数据成为打造企业新生命的关键。即使企业今天的数据量不是很大，可能完全基于传统的关系型数据库，大数据的应用也绝对不容忽视，因为随着新型营销平台的出现，智能社交营销已经成为大家的“刚需”。而一旦走上新型营销平台，数据量就会急剧增加，大数据的应用迫切性即刻出现。长沙中联重工科技发展股份有限公司CIO王玉坤在介绍他们的大数据实践时说：“在工程机械行业，很多挖掘机都安装了GPS定位系统，实时监控车辆运行情况。同样，日本小松公司的挖掘机也安装了GPS定位系统，在实时监控车辆运行情况的同时，还根据挖掘机每个月的工作时间，统计全年的工作情况，由此判断下一年度的市场需求。挖掘机开工越饱满，说明市场需求越旺盛，如果客户购买挖掘机后每个月的工作量很少，说明市场有可能面临过剩的风险”，这就是通过大数据的应用促使工程机械行业转型的典型案例。一般大家都认为工程机械行业需要进行分析处理的数据量不大，通过这个案例可以看到，随着GPS定位系统的应用，大数据以已悄然走进这类企业。

大数据的基础架构

大数据虽然在不同的应用场景、不同企业环境应用方式会千差万别，但是常见的基本架构如图示。大数据都会有自己的基础架构平台，一般推荐是基于云计算的动态弹性平台，因为这将为大数据的分析处理提供强有力的支撑。当然，为了加速数据处理，Hadoop这类的基础处理平台也是必不可少的，包括实时数据处理的模块，加速数据处理的进度。大数据的价值和时间密切相关，如果不能及时将大数据快速处理，分析后的结果很可能就成为“事后诸葛亮”，好听好看没用途，相信任何一个企业都不希望大数据成为摆设。当然，不同的行业、场景会有数据分析、展示模块来配合，这些都需要数据科学家、分析师、开发者等共同配合完成，将移动互联网、物联网、社交媒体、实时数据流等进行分析处理，抽取出其中最有价值的规律、结论等，服务于我们面对的每个新明天和我们的新客户需求。

大数据不会推翻我们传统构建的传统结构化数据的堡垒，特别是普遍应用在企业数据中心的关系型数据库，仍然会是处理结构化数据的主要工具。但在大数据时代，我们更应该聚焦非结构化数据，结构化数据已经有了不错的归宿，非结构化数据才是我们处理的难题。据预测，到2020年，非结构化数据将数十倍于传统的结构化数据，成为大数据最主要的数据来源。Hadoop在大数据时代如日中天，成为很多企业追逐的对象，因为今天的Hadoop是非结构化数据的一大福音，通过Hadoop可以轻松掌控非结构化数据。

但是我们要充分认识到大数据确实不是传统关系型数据库能够轻松应对的，由于非结构化数据的来临，传统关系型数据库立马力不从心。同时，实时数据要求的低延迟、数据流处理也是传统数据库的软肋。当然，灵活模式、云架构以及海量数据处理要求，都导致传统关系型数据库陷入困顿，只能寻找新的数据处理模式，比如Hadoop等，这也是开源的Hadoop如此受业界追捧的主要原因。

企业迈向大数据时代之五部曲

当然，从传统数据库模式走到大数据时代是每个企业都需要经历的一次涅槃，下图给出了常见的五部曲：

1）大数据收集。如果你大数据在手，恭喜你，至少你已经有了稳定的数据源。如果你没有大数据，可能你需要想想哪些环节的重要数据从你指间溜走，你要开始部署新的工具拦住这些流失的数据，为他们找个收容所。当然，大数据收集最重要的是要确保数据质量，没有质量的数据坚决杜绝，因为没有意义的数据只会增加系统的复杂性，无形中增加成本。当然，大数据的价值密度本来就很低，如何辨别有质量的大数据就不是轻松的一个环节，要花大力气来解决。

2）混合云或者数据的全局保障。收集数据要依赖于基础架构，云计算是一个重要平台，通过软件及服务，实现全公司数据的完整覆盖，包括各种类型、多种应用的数据，不漏掉任何有价值的数据，也不让垃圾数据混入其中。

3）实现分析工具实时、平民化和可视化。将复杂的、臃肿的、不能实时分析的工具统统扔进历史的垃圾桶，只有大数据分析工具的革新才能真正实时挖掘出大数据的价值。传统的分析工具会被大数据淹没，成为企业的负担，不能产生应有的价值。

4）虚拟化可实现管理自动化，降低运营成本。一个使用复杂、成本昂贵的大数据平台会成为数据中心的新负担，带来的价值可能会被复杂的平台本身直接消耗殆尽。随着虚拟化，特别是软件定义的数据中心时代的到来，轻型、便捷的新平台成为大数据处理的首选平台，不仅大幅度降低成本，也为大数据处理提供了高度的弹性、管理能力等，让大数据处理成为企业新价值的发动机，成为企业竞争力的助推器，成为CIO的新头脑。

5）开源软件也将成为历史潮流。大数据从电商企业、移动互联网起家，因此生于开源，长于开源，开源成为大数据平台的重要基因，这也是开源的Hadoop红火的另一个重要原因。当然，开源并不意味着回到“手工作坊”时代，每个企业都要打造自己的“开源”大数据平台，而是要有充分的开放性，基于开源的理念和架构，提供成本低廉、稳定可靠的选择。就像今天的开源Linux，一般企业还是选择第三方企业包装测试好的Linux平台，而不是一个客户完全自主研发的Linux平台。通过这五部曲，企业可以轻松实现从传统的关系型数据库时代步入数据云时代，也就是走进新的大数据时代。

总之，大数据不是遥远的神话，大数据是CIO为企业提供大价值的神器，机遇与挑战并存。只要善用大数据，大数据定能为您的企业带来不断的新惊喜：大数据能让你在从来不知道你有机会的地方找到机会；大数据的快速分析能让你在机会消失之前把握住机会;大数据的有效应用能够产生前所未有的商业新模式。

注：第十六期《沈阳软件》可以从http://www.sisp-china.com/ruanjian/总第十六期.rar下载电子版