大数据技术原理与应用：大数据概述

大数据概述

为什么说大数据是第三次信息化浪潮？

数据技术支撑

存储设备便宜

处理能力提升

网络带宽提升

数据产生方式变革

数据产生方式

大数据发展三个阶段

由于技术支撑以及数据产生方式变革，促成了大数据～

大数据定义

• 数据量大

  
  
  

  大数据摩尔定律

• 数据类型繁多：由结构化和非结构化数据组成

  
  
  

  类型多

• 处理速度快：秒级决策

  
  
  

• 价值密度低

  
  
  

  厦大校园

• 故大数据４ｖ特性

大数据关键技术

两大核心技术：分布式存储与处理

大数据计算模式

大数据计算模式区分

• 流计算比如用户点击流、日志流等，秒级实时响应
• 不同产品服务于不同业务问题

大数据与云计算、物联网的关系

云计算

云计算概念

• 云计算通过网络以服务的方式为用户提供了非常廉价的资源。

• 云计算解决了海量数据"分布式存储和分布式处理"以及"虚拟化、多租户"两大问题

  
  
  

  云计算三大名词
• IaaS:基础设施即服务：ec2...
• PaaS:平台即服务： app engine...
• SaaS:软件即服务：google apps...

物联网

物联网概念

• 从层次架构看，分为：感知层、网络层、处理层、应用层

物联网技术列举

大数据、云计算和物联网三者关系

云计算为大数据提供了技术基础，大数据为云计算提供了用武之地
大数据继承自云计算
物联网是大数据的重要来源
大数据技术为物联网数据分析提供技术支撑
云计算为物联网提供海量数据存储能力
物联网为云计算提供了广阔的应用空间

---

以上是厦门大学林子雨教授所传授的《大数据技术原理与应用》的PPT以及个人笔记，这里做下自己的记录。