大数据技术原理与应用（第一章，大数据概述）

目录

1.1大数据时代

1.2大数据的概念和影响

1.3大数据的应用

1.4大数据的关键技术

分布式存储

分布式并行处理技术

1.5大数据与云计算、物联网的关系

1.5.1云计算

云计算数据中心

1.5.2物联网（The Internet of Things）

物联网的关键技术

大数据，云计算与物联网的关系图

---

1.1大数据时代

技术支撑：存储，计算，网络。

数据产生方式的变革：

第一阶段 运营式系统阶段——>第二阶段 用户原创内容阶段——>第三阶段 感知式系统阶段（物联网的兴起与普及）。

1.2大数据的概念和影响

4V特性：variety：快速化；volume：大量化；velocity：多样化；value：价值密度低。

大数据摩尔定律：数据量每两年增长一倍。

解决科学问题的四种范式：实验，理论，计算，数据。

思维方式的颠覆：

全样而非抽样，效率而非精确（不存在抽样的误差放大），相关而非因果

1.3大数据的应用

业务流程优化，身体健康监控，智能医疗研发，交通情况实时监控，金融交易......

1.4大数据的关键技术

大数据技术的层次：

数据采集，数据存储与管理，数据处理与分析，数据隐私与安全

两大核心技术：

分布式存储

分布式数据库BigTable，分布式文件系统GFS

分布式并行处理技术

大数据计算模式：

批处理，针对大规模数据的批量处理：MapReduce，Spark

流计算，针对流数据的实时计算：S4，Storm，Flume

图计算，针对大规模图结构数据的处理：Google Pregel，GraphX

查询分析计算，针对大规模数据的存储管理与查询分析：Hive，Cassandra，Impala

1.5大数据与云计算、物联网的关系

1.5.1云计算

云计算：通过网络以服务的方式为用户提供非常廉价的IT资源。解决了大数据分布式存储与分布式处理问题，典型特征：虚拟化，多租户。

公有云，私有云，混合云

应用层（软件即服务SaaS）——面向用户

平台层（平台即服务PaaS）——面向应用开发者

基础设施层（基础设施即服务IaaS）——面向网络架构师

云计算数据中心

刀片服务器

地理位置要求：地质结构稳定，温度低

1.5.2物联网（The Internet of Things）

物物相连的互联网，是互联网的延伸

物联网层次架构

应用层：智能电网，智慧医疗，智能家居

处理层：业务支撑平台（中间件平台），服务支撑平台，信息处理平台

网络层：互联网，电网，专用网

感知层：传感器，二维码，摄像头

例：掌上公交

物联网的关键技术

识别技术，感知技术

例：二维码，RFID（公交卡）

大数据，云计算与物联网的关系图