大数据--第一章 大数据概述笔记分享

一、大数据时代

1.三次信息化浪潮

信息化浪潮	发生时间	标志	解决问题	代表企业
第一次浪潮	1980年前后	个人计算机	信息处理	Intel、AMD、IBM、苹果、微软、戴尔、惠普等
第二次浪潮	1995年前后	互联网	信息传输	雅虎、谷歌、阿里巴巴、百度、腾讯等
第三次浪潮	2010年前后	物联网、云计算、大数据	信息爆炸	将涌现出一批新的市场标杆企业

2.第三次信息化浪潮的支持

①技术支撑
	§ 存储：存储设备容量不断增加
	§ 计算：CPU处理能力大幅度提升
	§ 网络：网络带宽不断增加
②数据产生方式发生变化

3.数据产生方式的变革促成大数据时代的来临

	①运营式系统阶段——数据产生方式是被动的
	②用户原创内容阶段——数据产生方式是主动的
	③感知式系统阶段——大数据的产生（物联网、云计算和大数据）
		物联网底层是感知层，如：摄像头、传感器、一卡通

4.大数据发展的三个阶段

①萌芽期 ②成熟期 ③大规模应用期

二、大数据概念

4V特性：
§ 数据量大（Volume）
§ 处理速度快（Velocity）
§ 数据类型繁多（Variety）
§ 价值密度低（value）

三、大数据的影响

1、图灵获奖者、著名数据库专家Jim Gray博士观察并总结人类自古以来，在科学研究上，先后历经了实验、理论、计算和数据四种范式。

2、在思维方式方面，大数据完全颠覆了传统的思维方式：
§ 全样而非抽象
§ 效率而非精确
§ 相关而非因果

四、大数据的应用

1、大数据无处不在

2、典型的大数据应用实例

1.影视剧拍摄
2.谷歌流感趋势

五、大数据的关键技术

1、大数据的关键技术

2、大数据的两大核心技术

数据的存储和数据的处理

3、两大核心技术

数据的存储	分布式存储	GFS\HDFS 、Big Table\Hbase、NoSQL、NewSQL
数据的处理	分布式处理	MapReduce

六、大数据计算模式

1、MapReuce是基于磁盘的离线计算，需要进行批处理，不能满足实时需求，它是一批一批处理的，不能实现秒级响应。Spark是基于内存的迭代计算，Spark处理速度比MapReuce快。
2、批处理是对数据批量处理，流计算是实时计算。
3、图计算针对大规模图结构数据的处理。
4、查询分析计算是大规模数据的存储管理和查询分析。

七、大数据与云计算、物联网的关系

1、大数据、云计算和物联网代表了IT领域最新的计算发展趋势，三者相辅相成，既有联系又有区别。

2、云计算

	①云计算概念：云计算实现了通过网络与服务的方式为用户提供可伸缩的、廉价的分布式计算能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种廉价的IT资源。
	②云计算关键技术：虚拟化、分布式存储、分布式计算、多租户等。
	③云计算数据中心是云计算的重要载体，为云计算提供计算、存储、带宽等各种硬件资源，为各种平台和应用提供运行支撑环境。

3、物联网

	①物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式联在一起，形成人与物、物与物相联，实现信息化和远程管理控制。
	
		应用层：包括很多应用，比如智能交通
		处理层：包括各种数据处理的应用，将数据处理好后传给上一层
		网络层：在物联网中起到数据传输的作用
		感知层：物联网的最底层
	
		物联网应用举例——智能交通
		
	②物联网关键技术
		物联网中的关键技术包括识别和感知技术（二维码、RFID芯片、传感器等）、网络与通信技术、数据挖掘与融合技术等。
	③物联网应用
		物联网已经广泛应用于智能交通、智慧医疗、智能家居等领域。

4、云计算、大数据、物联网三者的关系，既有区别又有联系