大数据技术原理与应用(一):大数据概述

大数据时代

大数据开始被人们所熟知是在2010年前后。

2010年前后,以云计算、大数据、物联网的普及为标志迎来第三次信息化浪潮

大数据技术原理与应用(一):大数据概述_第1张图片


大数据技术原理与应用(一):大数据概述_第2张图片


大数据技术原理与应用(一):大数据概述_第3张图片大数据技术原理与应用(一):大数据概述_第4张图片

大数据的概念与影响

4V

大数据技术原理与应用(一):大数据概述_第5张图片

大数据技术原理与应用(一):大数据概述_第6张图片

大数据由结构化和非结构化数据组成,90%都是非结构化的

结构化数据是指存储在关系型数据库当中的非常规范的数据

大数据对我们思维方式的影响

  • 全样而非抽样(已经由足够的空间和计算能力对全样数据进行存储和分析而不用去抽样了)
  • 效率而非精确(抽样时追求精确性方式应用到全局错误被放大,而全样数据没有必要了,而时效性很重要,很多时候的数据价值只在一瞬间(监控录像))
  • 相关而非因果(淘宝买书,会给你推送另外用户买了也那本书,而不会告诉你为什么也买了那本书)

大数据关键技术

大数据技术原理与应用(一):大数据概述_第7张图片

大数据技术(分布式存储和分布式处理)是以谷歌公司技术为代表的

大数据技术原理与应用(一):大数据概述_第8张图片

分布式数据库和分布式文件系统属于分布式存储技术

分布式并行处理技术属于分布式处理技术

 

现在没有一种大数据产品可以满足所有需求,所以对于不同的计算模式需要使用不同的产品

大数据技术原理与应用(一):大数据概述_第9张图片

大数据技术原理与应用(一):大数据概述_第10张图片

批处理计算

MapReduce是批处理计算模式的典型代表,它不适合做实时交互式计算(主要是批处理的东西,都不可能实现秒级响应)

Spark也属于批处理,但它的实时性比MapReduce要好,而且它解决了MapReduce中的一些缺点,MapReduce没办法迭代计算,而Spark可以高效做迭代计算

大数据技术原理与应用(一):大数据概述_第11张图片

大数据技术原理与应用(一):大数据概述_第12张图片大数据技术原理与应用(一):大数据概述_第13张图片大数据技术原理与应用(一):大数据概述_第14张图片

 

大数据技术继承自云计算

大数据技术原理与应用(一):大数据概述_第15张图片

你可能感兴趣的:(大数据)