摘要:近几年,由Google在搜索引擎大会上首次提出的云计算概念火遍各大IT科技公司,甚至在其他领域,也受到热捧,一时间云计算无处不在,很多项目都想从这新颖的名词中提升项目的知名度。 随着IBM在上海公布一个名为“蓝云”的系统后,雅虎、Google、微软等互联网巨头相继发力云计算;与此同时另外一个时代的“新宠”——大数据也来到了人们的视野中。自从咨询革命以来,咨询工具,硬件,软件,平行发展,与时俱进。数据与我们的生活紧密相连,很多企业已开始意识到通过挖掘和分析大数据,洞察业务模式和发展趋势,帮助企业在安全、营销、和IT领域提高运营效率和竞争优势。那么在这个科技发展神速的时代,究竟二者能带来什么样的划时代意义?本文将分别简要的阐述大数据和云计算从概念到应用,从抽象到具体的内容,并从中提出部分对二者紧密相连的关系对于我们未来生活的描述。
关键词:大数据 云计算
正文:云计算技术是IT界的一场技术革命,引领着IT行业未来的发展方向,不仅IT界引起巨大的浪潮,而且各国政府纷纷将云计算视为国家软件发展的新机遇。早在2010年12月,美联邦政府就推出了“云优先(CloudFirst)政策”,美国国防信息系统部门(DISA)在其数据中心内部搭建一个名为“快速访问计算环境”的内部云;日本也计划在北海道建立云计算特区,旨在构筑国内最大规模的数据库,而且日本还将扩大开源促进论坛对云计算领域发展的参与度;中国政府也在“十二五”信息规划的技术背景下对云计算技术做了阐述,明确提出云计算技术是我国下一个5年信息化产业发展的重点领域之一。
云计算技术商业前景的大好趋势使得资金、人才更加的聚集,美国硅谷目前已经约有150家涉及云计算的企业。围绕着云计算技术,新的商业模式层出不穷,业界巨头包括微软、谷歌、IBM、亚马逊、Netsuite、NetApp、Adobe等早已公开宣布进入并开发云计算技术。
2007年10月,作为世界云计算的“领头人”Google与IBM开始在美国大学校园内,包括卡内基梅隆大学、麻省理工学院、斯坦福大学、加州大学柏克莱分校及马里兰大学等,推广云计算的计划,这项计划希望能降低分布式计算技术在学术研究方面的成本,并为这些大学提供相关的软硬件设备及技术支持。而学生则可以通过网络开发各项以大规模计算为基础的研究计划。当业界谈到云计算时,都会第一个想到Google,我们日常在使用的Google Search,Google Earth,Goolge Map,Google Gmail,Google Doc 等等业务都是Google 基于自己计算平台来提供的。Google也正是充分发挥云计算的优势,大量的降低计算成本,使自身的业务更具有竞争力。
2008年10月,微软为加快部署云计算领域,也相继发布了一系列的产品,包括:推出新操作系统Windows Azure,企业Exchange的网络版和office网络版,其中Azure(“蓝天”)是继Windows取代DOS之后,微软的又一次颠覆性的转型,即通过在互联网架构上打造新的云计算平台,让Windows真正由PC延伸到“蓝天”上。并计划在最短的时间内建成20个顶尖水准的“云计算中心”
Amazon使用弹性计算云(EC2)和简单存储服务(S3)为企业提供计算和存储服务。收费的服务项目包括存储服务器、带宽、CPU资源以及月租费。月租费与电话月租费类似,存储服务器、带宽按容量收费,CPU根据时长(小时)运算量收费。不到两年时间,Amazon上的注册开发人员达44万人,还有为数众多的企业级用户。有第三方统计机构提供的数据显示,Amazon与云计算相关的业务收入已达1亿美元。云计算是Amazon增长最快的业务之一。
基于这样的大环境下,云计算迅速的部署和发展,但是目前,对云计算的定义各有表述,维基百科上给出的定义是:云计算是一种通过internet以服务的方式提供动态可伸缩的虚拟化的资源的计算模式,这样的一种计算模式常常被人们与网格计算、效用计算、自主计算相混淆,但对云计算的主流理解大多建立在软件即服务(SaaS)、平台即服务(PaaS)、基础设施即服务(IaaS)这三个层次上,总体上讲,云计算通过互联网将超大规模的计算与存储资源整合起来,并以可信服务的形式按需提供给用户。
那么云计算为什么能一出现就可以马上抓住人们的眼球呢?
首先云计算的特点是:1,按需自助服务,这就意味着用户可以对计算资源进行单方面的设置以自动化的满足用户的需求,而且无须与服务提供商的人工配合;2,广泛存在的网络链接,云计算资源可以通过网络获取和标准机制来访问;3,采用地理位置无关的虚拟化的“资源池”,用户虽然可以使用云资源,但是无法知道所使用的云资源的确切的物理位置;4部署资源快速灵活:云具有弹性,具体体现在:云计算资源可以迅速供应也可以迅速释放、云计算能力可以迅速变大也可以迅速变小、云计算提供商可以快速灵活的部署云资源、用户也可以在任何时间和地点购买任何数量的云资源5,服务可测量,表示这是一种可测量的服务,通过对不同类型的服务进行计费,云计算系统能够自动的控制和优化资源的利用情况,而且人们可以对资源进行监测,根据检测报告,控制资源利用情况。
另外一方面是云计算的新颖之处在于它几乎可以提供无限的廉价存储和计算能力。2012年伦敦奥运会,其运用云计算的强大计算能力也是整个赛事的亮点,伦敦奥运会项目首席集成师Michele Hyron表示,云计算和与之相关的大数据处理等技术在整个比赛17天、34个场馆、302枚金牌、近3万名媒体人和上亿观众所带来的IT数据信息流处理中承担重要的角色。
根据中国首个《中国云计算产业发展白皮书》中可以看到我国云计算也在高速发展,中国云计算产业分为市场准备期、起飞期和成熟期三个阶段。当前,中国云计算产业尚处于导入和准备阶段,处在大规模爆发的前夜。未来3年,云计算应用将以政府、电信、教育、医疗、金融、石油石化和电力等行业为重点,在中国市场逐步被越来越多的企业和机构采用,市场规模也将从2009年的92.23亿元增长到2012年的606.78亿元,年复合增长率达87.4%。
在云计算高速发展的同时,大数据时代也悄然的来临,过去四十年IT的迅猛发展,使得全球经济格局发生了很大的改变,我们也从之前的工业时代进入了信息时代,现在,又有一个崭新的科技浪潮正向我们涌来,它就是“大数据”时代,也许很多人对这个名词感到很新鲜,究竟什么是大数据?
早在上个世纪九十年代数据仓库之父,BILL INMON就对这个BigData情有独钟,后来2008年9月,自然杂志上一篇《Big data:science in the petabyte era》再次将bigdata推上舆论的浪尖。谷歌和雅虎等互联网搜索公司是率先开发大数据工具的公司,目的是为了方便为万维网建立索引。其他互联网公司也不甘示弱,相继开发其它组件来处理订单和建议、以及互联网中的其他问题。现在,很多企业 IT 部门正在运用这些高科技工具,解决一直以来难以解决的具有较高价值的业务难题。麦肯锡全球研究院的报告《大数据:创新、竞争和生产力的下一个前沿领域》显示,在美国的 17 个业务领域中,有 15 个领域的公司的数据存储量比美国国会图书馆还多。沃尔玛就是一个典型实例。这一零售业巨擎每小时要处理超过 100 万笔客户交易,其数据库估计包含超过 2.5 PB的数据,相当于美国国会图书馆全部书籍中所含信息的 167 倍。在日常生活中,大数据的感受也是切实存在的。进入IT信息时代以来,我们每天都积累了海量的数据,这些数据随着生活的继续不断地急速增加,给我们的时代带来两个方面的巨变:一方面,在过去数据匮乏的时代无法实现的应用现在终于可以实现;另一方面,我们究竟应该如何高效的分析利用这些海量的数据,过去简单的通过搜索引擎获取数据并做简要的筛选分析已经不能满足我们层出不穷的应用需求,当下如何从每天产生的海量的数据中高效的获取有效信息的数据,深加工并最终得到有价值的数据变的非常困难。但是科技在进步,事情经过时间的洗礼总会有进展的,面对大数据,我们也是有当前的解决方法的。
企业要想今后保持较高的发展速度,深入的发掘和分析大数据可以帮助企业在此基础上预测和分析最佳行动方案,加快企业创新的步伐,发现和开拓新市场,数据形式主要分为结构化数据,半结构化数据,非结构数据。传统的数据分析是分析结构化数据,数据规模一般为TB规模,集中式,数据向计算靠近,而大数据分析的数据规模从TB到PB级别,分布式,计算向数据靠近,而且支持流式分析。
大部分公司只能努力集合数据进行分析,或者进行抽样并尝试从中推断含义。现状依然如此。Gartner 预测,“到2015 年,超过 85% 的《财富》500 强企业将无法有效利用大数据获得竞争优势。“然而,各领先企业已开始实施大数据分析能力,并取得了显著的成果。据 Gartner 调查,这些公司正采用大数据所带来的新工具和技能,快速改进商业智能、数据挖掘和业务分析等实践。MIT 数字商业研究中心总监 Eric Brynjolfsson教授对 179 家大型上市公司展开了调研,发现使用“数据驱动型决策模式”的公司的生产力和赢利能力比竞争对手高出约5%。他总结道:“对于能够充分利用大数据的公司,将可以更容易实现目标。”
云计算和大数据是这个时代的两个王者,那么他们之间到底是什么关系?谁才是王中之王?
其实可以这样理解:大数据离不开云计算,云计算为大数据处理提供了一个很好的平台,云计算是大数据时代的唯一选择,是唯一可行的大数据处理方式。云计算强调的是计算,而大数据则是计算的对象。如果结合实际的应用,前者强调的是计算能力,后者看重的存储能力,大数据需要处理大数据的能力,而这种能力其实就是强大的云计算能力,大数据与云计算相结合所释放出的巨大能力,几乎波及到所有的行业,大数据与云计算相结合,相得益彰,互相都能发挥最大的优势。云计算能为大数据提供强大的存储和计算能力,能够更加迅速地处理大数据的丰富信息,并更方便地提供服务;而来自大数据的业务需求,能为云计算的实施找到更多更好的实际应用
相信在不久的将来,大数据和云计算这两块璧玉双璧合一,为科技和社会创造出更大的财富和贡献!
参考文献:
1,麦肯锡全球研究院报告《大数据:创新、竞争和生产力的下一个前沿领域》
2,程莹,张云勇,房秉毅,徐雷《云计算标准化现状分析》中国联通研究院北京100048
3,刘鹏《云计算发展现状》中国云计算 2009.02
4,陈骞《国外云计算发展现状简述》2009.12
5,《中国云计算产业发展白皮书》2010.12
6, 北京汇智永益《时代双雄:云计算与大数据》