大数据架构与技术——（一）大数据概述

1.1 大数据时代

1.1.1第三次信息化浪潮

根据IBM前首席执行官郭士纳的观点，IT领域每隔十五年就会迎来一次重大变革

• 1981年8月12日IBM公司推出了第一台个人计算机IBM PC5150
• IBM5150型电脑每台重约11．34公斤，仅键盘就重约2．7公斤；配置了16位、4.77MHz 的Intel 8088微处理器、16KB（最多可扩展至 256KB）的
  内存。
• 可以使用盒式录音磁带来下载和存储数据，此外也可配备5.25英寸的软盘驱动器；安装了微软公司的磁盘操作系统（X86-DOS）、电子表格软件Visicale和文本输入软件Easywriter。
• IBM是计算机界的领导者，因为它的logo是蓝色的，所以也被叫做“蓝色巨人”。
• 1981年，IBM个人电脑问世，一上市就大受欢迎，占领了3/4的个人电脑市场。IBM错误的认为个人电脑赚钱的部分是几千块钱的硬件，而不是几十块钱的软件。为了快速推出个人电脑，IBM来不及自己开发操作系统，于是向其他公司招标。
• 这时候比尔盖茨看到了机会，他把操作系统卖给了IBM。但是聪明的比尔盖茨没有让IBM买断操作系统，而是从每台IBM个人电脑中收一笔不太起眼的版权费。
• 比尔盖茨一边和IBM合作，一边下大力气开发新的操作系统（Windows），Windows一经推出，微软帝国也就形成了。
• 1994年4月20日，第一条64K国际专线接入中国，这对于中国的互联网来说是一个值得纪念的事件，因为这是中国开始以一个国家的身份进入国际互联网。
• 在1995年，北京和上海的64K的国际专线开通之后，中国全功能接入国际互联网。

1.1.2信息科技为大数据时代提供技术支撑

1. 存储设备容量不断增加
   
2. CPU处理能力大幅提升
   
3. 网络带宽不断增加
   

1.1.3数据产生方式的变革促成大数据时代的来临

1.1.4 大数据的发展历程

1.2 大数据概念

1.2.1 数据量大

• 根据IDC作出的估测，数据一直都在以每年50%的速度增长，也就是说每两年就增长一倍（大数据摩尔定律）
• 人类在最近两年产生的数据量相当于之前产生的全部数据量
• 预计到2020年，全球将总共拥有35ZB的数据量，相较于2010年，数据量将增长近30倍 PB EB ZB

1.2.2 数据类型繁多

• 大数据是由结构化和非结构化数据组成的
  • 10%的结构化数据，存储在
    数据库中
  • 90%的非结构化数据，它们
    与人类信息密切相关

1.2.3 处理速度快

• 从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间非常少
• 1秒定律：这一点也是和传统的数据挖掘技术有着本质的不同

1.3 大数据的影响

1998年，图灵奖获得者、著名数据库专家Jim Gray 博士观察并总结人类自
古以来，在科学研究上，先后历经了实验、理论、计算和数据四种范式

大数据时代对人类思维方式产生非常大的影响

• 第一方面的影响
  
  大数据时代之后：
  
• 第2方面的影响
• 第3方面的影响
  

1.4 大数据的应用

大数据无处不在，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业都已经融入了大数据的印迹

1.5 大数据关键技术

最核心为：数据存储与管理、数据处理与分析

大数据技术的两大核心技术：

• 分布式存储：解决海量数据的存储问题
• 分布式处理：解决海量数据的处理问题

1.6 大数据计算模式

• 第1种大数据计算模型：批处理计算
  

• 第2种大数据计算模型：流计算
  

• 第3种大数据计算模型：图计算
  
  

• 第4种大数据计算模型：查询分析计算
  

大数据计算模式及其代表产品：

1.7 大数据产业

大数据产业是指一切与支撑大数据组织管理和价值发现相关的企业经济活动的集合

1.8 大数据与云计算、物联网的关系

1.8.1云计算

云计算解决了海量数据的分布式存储和分布式处理问题

• 云计算典型特征
  • 虚拟化
  • 多租户
• 云计算的概念：云计算是通过网络以服务的方式为用户提供非常廉价的IT资源
• 云计算的优势：企业不需要自建IT基础设施，可以租用云端资源
• 云计算三种模式：
  • 公有云：百度云——面向所有公众
  • 混合云：部分给自己、部分给外面
  • 私有云 ：中国移动、中国电信——面向企业内部
    
• 云计算关键技术
  • 虚拟化
  • 分布式存储
  • 分布式计算
  • 多租户
• 云计算数据中心
  • 数据中心是云计算的温床
  • 各种数据和应用，并非在“天上云端”，而是位于各地的数据中心里
  • 数据中心包含大量刀片服务器，刀片服务器是一种紧凑的独立服务器，每个刀片服务器都有自己的CPU、内存和存储。
  • 数据中心能耗非常大

1.8.2物联网

物联网是物物相连的互联网，是互联网的延伸

• 物联网层次架构：
  

• 物联网关键技术

  • 识别技术
  • 感知技术

• 物联网应用
  物联网已经广泛应用于智能交通、智慧医疗、智能家居、环保监测、智能安防、智能物流、智能电网、智慧农业、智能工业等领域，对国民经济与社会发展起到了重要的推动作用
  

• 云计算、大数据和物联网代表了IT领域最新的技术发展趋势，三者既有区别又有联系