大数据(一) --大数据概述

大数据兴起的背景 --第三次信息化浪潮

​​

技术支撑

• 硬盘存储容量增加；

• CPU计算速度提高；

• 网络带宽不断增加。
  

数据产生方式的变革。

感知式系统阶段物联网的大规模普及。(物联网底层是感知层：RFID，摄像头，传感器)

物联网的兴起让我们迎来了大数据时代。

什么是大数据?

大数据是一个仁者见仁, 智者见智的宽泛概念. 关于大数据的定义有很多, 我们不妨拿来几个品读品读:

亚马逊大数据科学家John Rauser 认为大数据是任何超过一台计算机处理能力的数据量. (Big data is any amount of data that’ s too big to be handled by one computer)

在《大数据: 下一个创新, 竞争和生产率的前沿》中, 麦肯锡对大数据定义为: 所谓大数据, 主要是指无法在一定时间内用传统数据库工具对其内容进行获取, 存储, 管理和分析的数据集.

研究机构Gartner定义: 大数据是指需要新处理模式才能具有更强的决策力, 洞察发现力和流程优化能力的海量, 高增长率和多样化的信息资产.

维基百科对大数据的定义则简单明了: 大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。 就是说大数据是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。

大数据大牛张富刚前辈说: 大数据是在短时间内快速地产生海量的, 多种多样的, 有价值的数据.

无论哪种定义, 都体现出了大数据的四大特性, 即4V–Volume(体量大)，Velocity(速度快)，Variety(多样化)，Value(价值). 当然, 也有人认为是5V特性, 第五个V是Veracity(真实性).

大数据特性

• 数据体量巨大. 数据量从TB级别跃升至PB

• 处理速度快. 需对数据实时分析

• 数据类别大. 由大量非结构化数据和少数结构化, 半结构化数据组成.

• 价值密度低，商业价值高.

• 数据真实性难辨识.

大数据的几个来源

• 来自人类活动. 人们通过社会网络、互联网、健康、金融、经济、交通等活动过程所产生的各类数据，包括微博、病人医疗记录、文字、图形、视频等信息。

• 来自计算机. 各类计算机信息系统产生的数据，以文件、数据库、多媒体等形式存在，也包括审计、日志等自动生成的信息。

• 来自物理世界. 各类数字设备、科学实验与观察所采集的数据。 如摄像头所不断产生的数字信号，医疗物联网不断产生的人的各项特征值，气象业务系统采集设备所收集的海量数据等。

大数据带来思维方式的转变:

• 全样而非抽样. 可以存储全部数据，而不用再去做抽样分析；

• 效率而非精度. 抽样由于样本选取的不同精度有发生变化，全样分析误差是多少就是多少，不会被放大；

• 相关而非因果. 只关注相关性，而非因果关系。

关键技术：

     两大核心：分布式存储，分布式处理。

• 分布式存储：分布式数据库BigTable，分布式文件系统GFS；

• 分布式处理：分布式并行处理技术MapReduce。

典型计算模式

• 批处理计算（MapReduce，Spark实时性好于MapReduce）
• 流计算——实时处理，实时响应，否则失去商业价值（S4，Storm，Flume）
• 图计算——社交网络类数据（Google Pregel）
• 查询分析计算（Google Dremel，Hive，Cassandra）