大数据技术原理与应用——第一章 大数据概述
第一章 大数据概述
1.1 大数据时代
1.1.1 第三次信息化浪潮
| 信息化浪潮 | 发生时间 | 标志 | 解决的问题 | 代表企业 |
|---|---|---|---|---|
| 第一次浪潮 | 1980年前后 | 个人计算机 | 信息处理 | Intel、AMD、IBM、苹果、微软、联想、戴尔、惠普等 |
| 第二次浪潮 | 1995年前后 | 互联网 | 信息传输 | 雅虎、谷歌、阿里巴巴、百度、腾讯等 |
| 第三次浪潮 | 2010年前后 | 物联网、云计算和大数据 | 信息爆炸 | 亚马逊、谷歌、IBM、VMWare、Palantir、Hortonworks、Cloudera、阿里云等 |
1.1.2 信息科技为大数据时代提供技术支撑
信息科技需要解决信息存储、信息传输和信息处理3个核心问题，人类社会在信息科技领域的不断进步，为大数据时代的到来提供了技术支撑。
1.存储设备容量不断增加
数据被存储在磁盘、磁带、光盘、闪存等各种类型的存储介质中，随着科学技术的不断进步，存储设备的制造工艺不断升级，容量大幅增加，速度不断提升，价格却在不断下降。
闪存是一种新兴的半导体存储器，从1989年诞生第一款闪存产品开始，闪存技术不断获得新的突破，并逐渐在计算机存储产品市场中确立了自己的重要地位。闪存是一种非易失性存储器，即使发生断电也不会丢失数据；因此，可以作为永久性存储设备，它具有体积小、质量轻、能耗低、抗振性好等优良特性。
技术成熟曲线（重要）
2.CPU处理能力大幅提升
CPU处理速度的不断提升也是促使数据量不断增加的重要因素。性能不断提升的CPU，大大提高了处理数据的能力，使得我们可以更快地处理不断累积的海量数据。
3.网络带宽不断增加
移动通信宽带网络迅速发展，3G网络基本普及，4G网络覆盖范围不断加大，各种终端设备可以随时随地传输数据。大数据时代，信息传输不再遭遇网络发展初期的瓶颈和制约。
1.1.3 数据产生方式的变革促成大数据时代的来临
数据产生方式的变革，是促成大数据时代来临的重要因素。总体而言，人类社会的数据产生方式大致经历了3个阶段：运营式系统阶段、用户原创内容阶段和感知式系统阶段。
1.1.4 大数据的发展历程
大数据的发展历程总体上可以划分为3个重要阶段：萌芽期、成熟期和大规模应用期。
1.2 大数据的概念
大数据不仅仅是数据的“大量化”，而是包含“快速化”、“多样化”和“价值化”等多重属性。
大数据的四个特征：
“4V”：
1.数据量大（Volume）
2.数据类型繁多（Variety）
3.处理速度快（Velocity）
4.价值密度低（Value）
1.3 大数据的影响
1.大数据对科学研究的影响
图灵奖获得者、著名数据库专家Jim Gray博士观察并总结人类自古以来，在科学研究上，先后历经了实验、理论、计算和数据四种范式。
2.大数据对思维方式的影响
在思维方式方面，大数据完全颠覆了传统的思维方式：
－全样而非抽样
－效率而非精确
－相关而非因果
3.大数据对社会发展的影响
在社会发展方面，大数据决策逐渐成为一种新的决策方式，大数据应用有力促进了信息技术与各行业的深度融合，大数据开发大大推动了新技术和新应用的不断涌现。
4.大数据对就业市场的影响
在就业市场方面，大数据的兴起使得数据科学家成为热门职业。
5.大数据对人才培养的影响
在人才培养方面，大数据的兴起，将在很大程度上改变中国高校信息技术相关专业的现有教学和科研体制。
1.4 大数据的应用
大数据无处不在，包括金融、汽车、餐饮、电信、能源、体育和娱乐等在内的社会各行各业都已经融入了大数据的印迹。
1.5 大数据关键技术
所谓大数据技术，是指伴随着大数据的采集、存储、分析和应用的相关技术，是一系列使用非传统工具来对大量的结构化、半结构化和非结构化数据进行处理，从而获得分析和预测结果的一系列数据处理和分析技术。
从数据分析全流程的角度，大数据技术主要包括数据采集与预处理、数据存储和管理、数据处理与分析、数据安全和隐私保护等几个层面的内容。
1.6 大数据计算模式
1.7大数据产业
1.8大数据与云计算、物联网
云计算
1.概念
云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。（云计算就是利用我们所有计算资源把它组合起来按需提供服务，用户按需付费使用资源，可以什么时候需要多少买多少）
2.关键技术
云计算关键技术包括：虚拟化、分布式存储、分布式计算、多租户等
3.数据中心
云计算数据中心是一整套复杂的设施，包括刀片服务器、宽带网络连接、环境控制设备、监控设备以及各种安全装置等。
数据中心是云计算的重要载体，为云计算提供计算、存储、带宽等各种硬件资源，为各种平台和应用提供运行支撑环境。
全国各地推进数据中心建设。
4.应用
5.云计算产业
云计算产业作为战略性新兴产业，近些年得到了迅速发展，形成了成熟的产业链结构，产业涵盖硬件与设备制造、基础设施运营、软件与解决方案供应商、基础设施即服务（IaaS）、平台即服务（PaaS）、软件即服务（SaaS）、终端设备、云安全、云计算交付/咨询/认证等环节。
物联网
1.概念
物联网是物物相连的互联网，是互联网的延伸，它利用局域网络或互联网等通信技术把传感器、控制器、机器、物以及人员等通过新的方式联在一起，形成人与物、物与物相联，实现信息化和远程管理控制。
2.关键技术
物联网中的关键技术包括识别和感知技术（二维码、RFID、传感器等）、网络与通信技术、数据挖掘与融合技术等。
3.应用
物联网已经广泛应用于智能交通、智慧医疗、智能家居、环保监测、智能安防、智能物流、智能电网、智慧农业、智能工业等领域，对国民经济与社会发展起到了重要的推动作用。
4.产业
完整的物联网产业链主要包括核心感应器件提供商、感知层末端设备提供商、网络提供商、软件与行业解决方案提供商、系统集成商、运营及服务提供商等六大环节。
大数据与云计算、物联网的关系
云计算、大数据和物联网代表了IT领域最新的技术发展趋势，三者既有区别又有联系。
本章小结
