大数据

大数据简介

大数据关键技术

大数据_第1张图片

大数据与云计算

云计算特点:虚拟化、多租户
云计算解决了分布式存储
大数据_第2张图片
大数据_第3张图片
大数据_第4张图片
大数据_第5张图片
大数据_第6张图片
大数据_第7张图片
大数据_第8张图片
大数据_第9张图片
大数据_第10张图片
大数据_第11张图片
大数据_第12张图片

大数据与物联网

大数据_第13张图片
应用例子:
掌上公交APP
大数据_第14张图片
大数据_第15张图片

三者关系

大数据_第16张图片

Hadoop

大数据_第17张图片
大数据_第18张图片
HDFS:分布式文件系统
YARN:调度
MapReduce:离线计算。基于磁盘
Spark:内存计算,基于内存。比MapReduce效率高
Hive:属于Hadoop的数据仓库,批处理形式,用于企业的数据分析,将大量企业数据存储在数据仓库中,建立不同地维度—OLAP分析
大数据_第19张图片
pig:一种基于Hadoop的大规模数据分析平台,提供类似SQL的查询语言Pig Latin ,是一种流式处理,轻量级的,可以嵌入在其他语句中。
大数据_第20张图片
大数据_第21张图片
大数据_第22张图片

Linux

大数据_第23张图片
大数据_第24张图片

Hadoop的部署

大数据_第25张图片
先从NameNode查找数据地址(即存储在哪个DataNode里面了)
例:在NameNode查找数据地址,发现数据被分割成多个段,分别在DataNode1,2,3分别上这几个里面去找。
大数据_第26张图片

你可能感兴趣的:(大数据)