大数据的产生背景和发展历史

1.大数据产生的背景

1）信息科技进步
现代信息技术产业已经拥有70多年的历史，其发展的过程先后经历了几次浪潮。先是20 世纪六七十年代的大型机浪潮，此时的计算机体型庞大，计算能力也不高。上世纪80年代以 后，随着微电子技术和集成技术的不断发展，计算机各类芯片不断小型化，兴起了微型机浪 潮，PC成为主流。上世纪末，随着互联网的兴起，网络技术快速发展，由此掀起了网络化浪潮，越来越多的人能够接触到网络和使用网络。
近几年随着手机及其他智能设备的兴起，全球网络在线人数激增，我们的生活已经被数字信 息所包围，而这些所谓的数字信息就是我们通常所说的“数据”，我们可以将其称为大数据 浪潮，也可以进一步看出，智能化设备的不断普及是大数据迅速增长的重要因素。
面对数据爆炸式的增长，存储设备的性能也必须得到相应的提高。美国科学家戈登•摩 尔发现了晶体管增长规律的“摩尔定律”。在摩尔定律的指引下，计算机产业会进行周期性 的更新换代，表现在计算能力和性能的不断提高。同时，以前的低速带宽也已经远远不能满 足数据传输的要求，各种高速高频带宽不断投入使用，光纤传输带宽的增长速度甚至超越了 存储设备性能的提高速度，被称为是超摩尔定律。
智能设备的普及、物联网的广泛应用、存储设备性能的提高、网络带宽的不断增长都是 信息科技的进步，它们为大数据的产生提供了储存和流通的物质基础。
2）云计算技术兴起
云计算技术是互联网行业的一项新兴技术，它的出现使互联网行业产生了巨大的变革， 我们平常所使用的各种网络云盘，就是云计算技术的一种具化表现。云计算技术通俗的来讲 就是使用云端共享的软件、硬件以及各种应用，来得到我们想要的操作结果，而操作过程则 由专业的云服务团队去完成。通俗一点来说，就像以前喝水需要自己打井、下泵，再通过水 泵将水抽上来，而云计算就相当于现在的自来水厂，只要打开开关就有水流出，其他的过程 都由厂家来完成，而你只要交费就行。我们通常所说的云端就是“数据中心”，现在国内各 大互联网公司、电信运营商、银行乃至政府各部委都建立了各自的数据中心，云计算技术已 经在各行各业得到普及，并进一步占据优势地位。
云空间是数据存储的一种新模式，云计算技术将原本分散的数据集中在数据中心，为庞 大数据的处理和分析提供了可能，可以说云计算为大数据庞大的数据存储和分散的用户访问 提供了必需的空间和途径，是大数据诞生的技术基础。
3）数据资源化趋势
根据产生的来源，大数据可以分为消费大数据和工业大数据。消费大数据是人们日常生 活产生的大众数据，虽然只是人们在互联网上留下的印记，但各大互联网公司早已开始积累 和争夺数据，谷歌依靠世界上最大的网页数据库，充分挖掘数据资产的潜在价值，打破了微 软的垄断；Facebook基于人际关系数据库，推出了graph search搜索引擎；在国内阿里和京 东两家最大的电商平台也打起了数据战，利用数据评估对手的战略动向、促销策略等等。在 工业大数据方面，众多传统制造企业利用大数据成功实现数字转型表明，随着“智能制造” 快速普及，工业与互联网深度融合创新，工业大数据技术及应用将成为未来提升制造业生产 力、竞争力、创新能力的关键要素。

2.大数据发展历程
1）萌芽时期（20世纪90年代至21世纪初）
“大数据”概念最初起源于美国，早在1980年著名未来学家阿尔文•托夫勒所著的《第 三次浪潮》书中将“大数据”称颂为“第三次浪潮的华彩乐章”。随着90年代复杂性科学的 兴起，不仅给我们提供了复杂性、整体性的思维方式和科学研究方法，还给我们带来了有机 的自然观。1997年，NASA阿姆斯科研中心的大卫•埃尔斯沃斯和迈克尔•考克斯在研究数据的 可视化问题时，首次使用了“大数据”概念。他们当时就坚信信息技术的飞速发展，一定会 带来数据冗杂的问题，数据处理技术必定会进一步发展。1998年，一篇名为《大数据科学的 可视化》的文章在美国《自然》杂志上发表，大数据正式作为一个专用名词出现在公共刊物 之中。
这一阶段可以看做是大数据发展的萌芽时期，在当时大数据还只是作为一种构想或者假 设被极少数的学者进行研究和讨论，其含义也仅限于数据量的巨大，并没有更进一步的探索 有关数据的收集、处理和存储等问题。
2）发展时期（21世纪初至2010年）
21世纪的前十年，互联网行业迎来了飞速发展的时期，IT技术也不断地推陈出新，大 数据最先在互联网行业得到重视。2001年，麦塔集团 （META Group）（后被Gartner收购） 分析师道格•莱尼提出数据增长的挑战和机遇有三个方向：量（Volume，数据量大小）、速 （Velocity，数据输入输出的速度）、类（Variety，数据多样性），合称“3V”。在此基础 上，麦肯锡公司增加了价值密度（Value），构成“4V”特征。
2005年大数据实现重大突破，Hadoop技术诞生，并成为数据分析的主要技术。2007年， 数据密集型科学的出现，不仅为科学界提供了全新的研究范式，还为大数据的发展提供了科 学上的基础。2008 年，美国《自然》杂志推出了一系列有关大数据的专刊，详细讨论了有关 大数据的一系列问题，大数据开始引起人们的关注。2010美国信息技术顾问委员会（PITAC） 发布了一篇名为《规划数字化未来》的报告，详细叙述了政府工作中对大数据的收集和使 用，美国政府已经高度关注大数据的发展。
这一阶段被看做是大数据的发展时期，大数据作为一个新兴名词开始被理论界所关注， 其概念和特点得到进一步的丰富，相关的数据处理技术相继出现，大数据开始展现活力。
3）兴盛时期（2011年至今）
2011年，IBM公司研制出了沃森超级计算机，以每秒扫描并分析4TB的数据量打破世界纪录，大数据计算迈向了一个新的高度。紧接着，麦肯锡发布了题为《海量数据，创新、竞 争和提高生成率的下一个新领域》的研究报告，详细介绍了大数据在各个领域中的应用情 况，以及大数据的技术架构，提醒各国政府为应对大数据时代的到来，应尽快制定相应的战 略。2012年世界经济论坛在瑞士达沃斯召开，会上讨论了大数据相关的系列问题，发布了名 为《大数据，大影响》的报告，向全球正式宣布大数据时代的到来。另外，国内外学术界也 针对大数据进行了一系列的研究，像《纽约时报》、《自然》、《人民日报》等都推出大篇 幅对大数据的应用、现状和趋势进行报道，同时哲学与社会科学界也出现了许多有影响力的 著作，像舍恩伯格的《大数据时代》、城田真琴的《大数据冲击》等。