大数据最佳实践指南04---ADMA

第一部分：认识大数据

 

1、定义大数据

在2013年，人类每日产生的数据总量在250万兆，世界上90%的数据在过去的两年间被创造出来。“大数据”，这种现象造成了人们对某些主要问题与机遇的误解。举个例子，HarrisInteractive 代表SAP(一家从事企业管理解决方案的公司)在2012年做了一项调查，结果显示仅仅有25%的居民得到了对大数据的一个相似的定义（虽然有将近76%的人将大数据看做一个机遇）。通过下面的调查结果，我们会发现人们对大数据的定义差别很大：

   # 28%定义为事务数据的大规模增长

   #24%将其描述成为解决大数据带来的量，变化与速率等挑战的一门新技术

   #19%说大数据是指为了满足法律要求而进行的数据存储与归类

   #18%的人将大数据解读为新数据源的增加，例如社交媒体，移动设备以及其他的机器设备。 

   

   那么大数据这个词语究竟什么意思呢？这篇论文定义大数据为”更少的关注数量而更多的关注质量“。 数据量的多少通常基于某些历史性的标准，但是科技进步如此之快，我们可以看到基础设施正在随着数据总量以及产生速率的增加而进行着快读的更替。

   更具挑战性的是，数据的来源如此之多，从本地的移动设备数据到集中式的数据中心，而且事实上这些数据都是数据流以及一些操作信息。对于今天的数据分析师来说，那种坐下来细细分析一摞简单的调查问卷的日子已经一去不复返。

 

   我们知道的大数据定义的几个方面如下：

1、数据来源多样

2、数据形式多样

3、数据不停的变化

4、数据量也算一个特点

 

大数据的价值通常源于两到三个数据集的交叉。这本书中讲到的例子，多是描述如何从不同的数据源中寻找关键点的解决方案。这些数据的原始状态往往是不相关，不连贯或者不匹配—甚至可能三者都是。所以说，由于多样化产生的复杂性确实是个大问题。

 

需要补充的是，许多大数据应用已经包括了对变化数据的实时分析。例如，对社交媒体评论的监视与分析可以帮助网络修复团队快速定位。