大数据学习（1）-大数据概述

目录

大数据产生背景

1. 三次信息化浪潮

根据IBM前首席执行官郭士纳福观点，每15年IT领域就会迎来一次重大的变革。

2.大数据产生的技术支撑

数据存储+数据处理+数据传输

• 存储设备容量的不断增大和价格的不断降低
• CPU处理能力的大幅度提升
• 网络带宽的不断增加

3.数据产生方式的变革

4.大数据发展的三个阶段

大数据概念

1.大数据：“4V”

volume(大量化)，Velocity(快速化) , Variety(数据多样化) , Value less(数据价值密度低)

• 大量化：大数据的大体现在数据量非常的多。

  大数据摩尔定律：数据一致直以每年50%的增长速率进行增长，每两年涨一倍。

• 数据多样化：大数据是由结构化数据和非机构化数据组成，其中10%为结构化的数据存储在数据库中，剩下的90%的数据为非结构化的数据，包括文本，图像，语音，视频等。

• 快速化：处理速度极快，从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间比较短。1S定律。

• 数据价值密度低：大量数据中只有小部分的数据有极高的价值。

大数据影响

1.科学研究
实验->理论->计算->数据驱动

2.思维

• 全样非抽样：由于大数据技术发展，可以对全样本进行分析，而不是之前的抽样分析。
• 效率非精确：大数据时代由于是基于全样本分析，所以不存在从抽样到全样的误差放大问题，所以更加关注的是效率。
• 相关非因果：大数据时代关注的更多的是物体之间的关联性，而非因果性。

3.社会发展

• 大数据决策被用于大量的行业

4.就业方面

• 数据科学行业成为热门行业

5.人才培养

大数据应用

大数据无处不在，包括金融，汽车，零售，餐饮，电信，能源，政务，医疗，体育，娱乐等。

大数据关键技术

数据分布式存储 + 数据分布式处理

目前没有一款大数据产品可以解决所有的大数据问题，所以我们应该根据具体的问题选择合适的大数据产品。

大数据产业

大数据产业是指一切与支撑大数据组织管理和价值发现先关的企业经济活动

大数据，云计算，物联网关系

云计算，大数据，物联网三者相辅相成，共同促进。

云计算

1.概念

2.关键技术

3.云计算数据中心

4.云计算应用

物联网

1.概念

2.关键技术

3.物联网应用

4.物联网产业

大数据，物联网，云计算三者之间联系