大数据概述

大数据的概念 4V

• 数据量大(Volumn)
• 数据类型繁多(Variety) 结构化数据(10%) 非结构化数据(90%)
• 处理速度快(Velocity)
• 价值密度低(Value)

大数据关键技术

• 分布式存储
• 分布式处理

大数据计算模式

• 批处理计算 解决针对大规模数据的批量处理
      MapReduce 将并行计算过程抽象为两个函数 Map和Reduce
      数据流从一个稳定的来源，进行一系列加工处理，流出到稳定的文件系统(如HDFS)
      Spark 使用内存替代HDFS或磁盘存储中间结果
• 流计算 流数据(在时间分布和数量上无限的动态数据集合体)
      数据价值随时间流逝而降低 实时计算
• 图计算
• 查询分析计算

大数据与云计算、物联网

云计算服务模式

• Iaas(基础设施即服务)
• PaaS(平台即服务)
• SaaS(软件即服务)

云计算关键技术

虚拟化、分布式存储、分布式计算、多租户

物联网体系架构

感知层、网络层、处理层、应用层

物联网关键技术

识别和感知、网络与通信、数据挖掘与融合