《大数据技术原理与应用》第三版 林子雨编著 第一章 大数据概述

《大数据技术原理与应用》第三版 林子雨编著

第一章 大数据概述

1. 三次信息化浪潮P3。

信息化浪潮	发生时间	标志	解决的问题	代表企业
第一次信息化浪潮	1980年前后	个人计算机	信息处理	Intel、AMD、IBM、苹果、联想、微软、戴尔、惠普
第二次信息化浪潮	1995年前后	互联网	信息传输	雅虎、谷歌、阿里巴巴、百度、腾讯
第三次信息化浪潮	2010年前后	大数据、云计算、物联网	信息爆炸	亚马逊、谷歌、IBM、VMWare、palantir、Hortonworks、Cloudera、阿里云

2. 数据生产方式的三次变革P6。
   运营式系统阶段：数据库的出现使数据管理的复杂度大大降低，数据往往伴随着一定的运营活动而产生并记录在数据库中，数据的产生方式是被动的。
   用户原创内容阶段：数据爆发产生于Web2.0时代，而Web2.0最重要的标志就是用户原创内容。智能手机等移动设备加速内容产生。数据产生是主动的。
   感知式系统阶段：感知式系统的广泛使用，人类社会数据量第三次大的飞跃导致了大数据的产生。
3. 大数据4V特征P8。
   Volumn数据量大 Variety数据类型繁多 Velocity处理速度快 Value价值密度低，商业价值高
4. 大数据对科学研究的影响P11。
   科学研究经历了四种范式。
   第一范式：实验科学
   第二范式：理论科学
   第三范式：计算科学：理论-数据-计算（以计算为中心）
   第四范式：数据密集型科学：数据-计算-理论（以数据为中心）
5. 大数据对思维方式的影响P12。
   全样而非抽样，效率而非精确，相关而非因果
6. 从数据分析全流程角度描述大数据技术的4个层面P16。
   数据采集与预处理、数据存储和管理、数据处理和分析、数据安全和隐私保护
7. 大数据两大核心技术：分布式存储和分布式处理
8. 大数据四种计算模式及其代表产品P17表格。
9. 云计算的概念P19：云计算实现了通过网络提供可伸缩的，廉价的分布式计算能力
10. 云计算的三种类型P20 ：公有云、私有云、混合云。
11. 云计算的关键技术P20
    虚拟化：云计算基础架构的基石。分布式存储。分布式计算，多租户
12. 云计算数据中心的构成及选址P21
    构成：机架+刀片服务器。（刀片服务器、宽带网络连接、环境控制设备、监控设备、安全装置）
    选址：地质结构稳定，天气凉爽
13. 物联网的概念P23
    物联网是物物相连的互联网，是互联网的延伸，他利用局部网络或互联网等通信技术把传感器，控制器，计算机，人员和物等通过新的方式连接到一起，形成人与物，物与物相连，实现信息化和远程管理控制。
14. 物联网四层体系结构P23表格。
15. 云计算，大数据，物联网三者的关系P27

【补】

1. 信息科技需要解决的三个核心问题：信息存储，信息处理，信息传输
2. 信息科技为大数据时代提供的技术支撑：存储、计算、网络
3. 大数据时代的鲜明特征：数据爆炸（大数据摩尔定律：人类社会产生的数据每两年就增加一倍多）
4. 大数据与传统数据挖掘的本质不同：大数据时代数据处理和分析速度要达到秒级响应，传统数据挖掘通常不要求给出实时分析结果。
5. 流数据：在时间分布和数量上无限的一系列动态数据集合体，数据的价值随时间的流逝而降低，必须采用实时计算的方式给出秒级响应。