大数据技术原理与应用(第一章,大数据概述)

目录

1.1大数据时代

1.2大数据的概念和影响

1.3大数据的应用

1.4大数据的关键技术

分布式存储

分布式并行处理技术

1.5大数据与云计算、物联网的关系

1.5.1云计算

云计算数据中心

1.5.2物联网(The Internet of Things)

物联网的关键技术

大数据,云计算与物联网的关系图


1.1大数据时代

技术支撑:存储,计算,网络。

数据产生方式的变革:

第一阶段 运营式系统阶段——>第二阶段 用户原创内容阶段——>第三阶段 感知式系统阶段(物联网的兴起与普及)。

1.2大数据的概念和影响

4V特性:variety:快速化;volume:大量化;velocity:多样化;value:价值密度低。

大数据摩尔定律:数据量每两年增长一倍。

解决科学问题的四种范式:实验,理论,计算,数据。

思维方式的颠覆:

全样而非抽样,效率而非精确(不存在抽样的误差放大),相关而非因果

1.3大数据的应用

业务流程优化,身体健康监控,智能医疗研发,交通情况实时监控,金融交易......

1.4大数据的关键技术

大数据技术的层次:

数据采集,数据存储与管理,数据处理与分析,数据隐私与安全

两大核心技术:

分布式存储

分布式数据库BigTable,分布式文件系统GFS

分布式并行处理技术

大数据计算模式:

批处理,针对大规模数据的批量处理:MapReduce,Spark

流计算,针对流数据的实时计算:S4,Storm,Flume

图计算,针对大规模图结构数据的处理:Google Pregel,GraphX

查询分析计算,针对大规模数据的存储管理与查询分析:Hive,Cassandra,Impala

1.5大数据与云计算、物联网的关系

1.5.1云计算

云计算:通过网络以服务的方式为用户提供非常廉价的IT资源。解决了大数据分布式存储与分布式处理问题,典型特征:虚拟化,多租户。

公有云,私有云,混合云

应用层(软件即服务SaaS)——面向用户

平台层(平台即服务PaaS)——面向应用开发者

基础设施层(基础设施即服务IaaS)——面向网络架构师

云计算数据中心

刀片服务器

地理位置要求:地质结构稳定,温度低

1.5.2物联网(The Internet of Things)

物物相连的互联网,是互联网的延伸

物联网层次架构

应用层:智能电网,智慧医疗,智能家居

处理层:业务支撑平台(中间件平台),服务支撑平台,信息处理平台

网络层:互联网,电网,专用网

感知层:传感器,二维码,摄像头

例:掌上公交

物联网的关键技术

识别技术,感知技术

例:二维码,RFID(公交卡)

大数据,云计算与物联网的关系图

大数据技术原理与应用(第一章,大数据概述)_第1张图片

你可能感兴趣的:(大数据)