大数据、云计算和物联网的关系
目录
云计算
大数据
物联网
大数据、云计算和物联网的关系
云计算
云计算实现了通过网络提供的可伸缩的、廉价的分布式计算能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源
起源：1996年康柏电脑公司使用CloudComputer
发展：2006年亚马逊的AWS服务
云计算特点
- 共享资源池：计算、网络、存储等资源的池化和共享
- 快速弹性：云计算应对需求、负载变化时的可伸缩性
- 可度量服务：对各项服务和应用的监控、计费等
- 按需服务+自服务
- 普遍的网络访问：可以在任务时候任何地点通过网络访问云计算资源
云计算部署
公有云：面向所有用户提供服务，只要是注册付费的用户都可以使用
公有云侧重于对新应用的支持，面向应用的弹性实现，在存储角度上则大量使用对象存储，绝大部分的云部件都被封装成商品的方式待价而沽
私有云：只为特定用户提供服务，比如大型企业出于安全考虑自建的云环境
私有云是因为历史的原因而不得不继续支撑传统的企业应用，因此私有云的存储形态主要是File（文件）和Block（块），并且侧重于基础设施的弹性
混合云：综合了公有云和私有云的特点，对于一些企业，一方面想安全的把数据存放在私有云中，另一方面又希望可以获得公有云的计算资源
社区云：一种特殊形态的云，通常由一些协作的组织在一定时间内基于同样的业务诉求与安全需求而构建形成的一种云架构
云计算关键技术
虚拟化
将一台计算机虚拟为多台逻辑计算机，在一台计算机上同时运行多个逻辑计算机，每个逻辑计算机可运行不同的操作系统，并且应用程序都可以在相互独立的空间内运行而互不影响，从而显著地提高计算机的工作效率。
虚拟化的资源可以是硬件（如服务器、硬盘和网络），也可以是软件
典型技术有：Hyper-V（微软）、VMware（威睿）、KVM、Virtualbox、Xen、Qemu
容器虚拟化（Docker）
不同于VMware等传统虚拟化技术的一种新型轻量级虚拟化技术，与传统虚拟化技术相比，Docker容器具有启动速度快、资源利用率高、性能开销小等特点，得到了越来越多的应用
多租户
使大量用户能够共享同一堆栈的软硬件资源，每个用户按需使用资源，能够对软件服务进行客户化配置
分布式存储
GFS（Google File System）是谷歌推出的一款分布式文件系统，可以把数据存储到成百上千台服务器上面，并在硬件出错的情况下尽量保证数据的完整性。GFS还支持GB或TB级别超大文件的存储，一个大文件会被切分成许多块，分散存储在由数百台机器组成的集群里
HDFS（Hadoop File System）是对GFS的开源实现，采用了“一次写入，多次读取”文件模型，文件一旦写入，不能对其进行修改
BigTable是以GFS为基础开发的分布式数据管理系统，可以存储结构化和非结构化的数据，可在廉价的PC服务器上搭建大规模存储集群
HBase是针对BigTable的开源实现
分布式计算
在摩尔定律慢慢失效的前提下，谷歌公司开发出了大规模离线计算框架MapReduce，允许开发者在不具备并行开发经验的前提下也能够开发出分布式程序，并让其同时允许在数百台机器上
云计算服务
Iaas（基础设施即服务）：将基础设施（计算和存储等资源）作为服务出租，向客户出售服务器、存储和网络设备、带宽等基础设施资源；厂商主要有亚马逊、Rackspace、Gogrid、Gridplayer等
Iaas更多地专注于底层硬件平台与虚拟化或容器封装，从而把操作系统到上层应用的自由都留给用户来决定（类似于阿里巴巴提供的云主机服务）
Paas（平台即服务）：把平台（包括应用设计、应用开发、应用测试、应用托管等）作为服务出租；厂商主要有谷歌、微软、阿里巴巴、华为等
Paas可以认为是业界在看到Iaas交付过程和用户使用过程中遇到的各种问题然后对服务交互自然延伸的必然结果，用户希望平台提供方能对操作系统、中间件、运行时甚至是应用于服务的持续升级、持续集成的提供管理
Saas（软件即服务）：把软件作为服务出租，向用户提供各种应用；厂商主要有Salesforce、谷歌等
Saas是最全面的服务交付服务，从上到下所有的问题都有平台来解决
云计算最佳实践五原则
- 结合业务需求来制定策略（长期）
- 避免重蹈业界失败的经历
- 把安全放在第一位
- 确保性能与数据可用性
- 定期评估业务发展，调整云战略+策略
云计算优化要论
- IT资源虚拟化
- IT资源效率优化
- 热感知技术
- 服务器集中与能耗转换技术
- 负载调度技术
- 动态电压、频率调控技术
- 数据中心云平台化
大数据
IT领域每隔15年就会迎来一次重大变革
“摩尔定理”——CPU性能每隔18个月提高一倍，价格下降一半
信息科技需要解决三大问题：信息存储、信息传输和信息处理
信息：较为宏观的概念，由数据的有序排列组合而成
数据：构成信息的基本单位，离散的数据没有任何实用价值
大数据4V
数据量大（Vloume）
数据类型繁多（Variety）
处理速度快（Velocity）
价值密度低（Value）
数据单位：Byte、KB、MB、GB、TB、PB、EB、ZB、BB
大数据三大特征：全样而非抽样、效率而非精确、相关而非因果
大数据计算模式：批计算、流计算、图计算、查询分析计算
大数据框架：数据采集与预处理、数据存储和管理、数据处理和分析、数据安全和隐私保护
大数据产业链：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层
物联网
物联网是物物相连的互联网，是互联网的延申，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式连在一起
物联网架构：感知层、网络层、处理层、应用层
物联网关键技术
识别和感知技术（二维码、RFID）
网络与通信技术（NB-IOT、ZigBee、Lora）
数据挖掘与融合技术
大数据、云计算和物联网的关系
云计算最初主要包含了两类含义：
一类是以谷歌的GFS和Bigtable为代表的大规模分布式并行计算技术；
一类是以亚马逊的虚拟机和对象存储为代表的“按需租用”的商业模式；
但是随着大数据概念的提出，云计算的分布式计算技术开始更多地被列入大数据技术，而人们提到云计算时，更多的是底层基础IT资源的整合优化以及以服务的方式提供IT资源的商业模式（如Iaas、Paas和Saas）
大数据：侧重于海量数据的存储、处理和分析，从海量数据中发现价值，服务于生产和生活
云计算：本质上旨在整合和优化各种IT资源，并通过网络以服务的方式廉价地提供给用户
物联网：目标是实现万物互联，应用创新是物联网发展的核心
大数据根植于云计算；
云计算在大数据上有了“用武之地”；
物联网构成大数据的重要数据来源；
大数据改变业务
云计算改变IT
物联网改变生活