Hadoop 3.x(入门搭建+安装调优)

原地址:

尚硅谷大数据Hadoop 3.x(入门搭建+安装调优)_哔哩哔哩_bilibili

抖音、物流等数据分析场景

业务流程

Hadoop 3.x(入门搭建+安装调优)_第1张图片

Hadoop 3.x(入门搭建+安装调优)_第2张图片

大的来说是一个生态圈

Hadoop 3.x(入门搭建+安装调优)_第3张图片

Hadoop优势

Hadoop 3.x(入门搭建+安装调优)_第4张图片

 Hadoop 3.x(入门搭建+安装调优)_第5张图片

组成

Hadoop 3.x(入门搭建+安装调优)_第6张图片

 Hadoop 3.x(入门搭建+安装调优)_第7张图片

Hadoop 3.x(入门搭建+安装调优)_第8张图片

MapReduce架构

Hadoop 3.x(入门搭建+安装调优)_第9张图片

数据生态体系:

Hadoop 3.x(入门搭建+安装调优)_第10张图片

 Hadoop 3.x(入门搭建+安装调优)_第11张图片

Hadoop 3.x(入门搭建+安装调优)_第12张图片

hadoop目录

Hadoop 3.x(入门搭建+安装调优)_第13张图片

 Hadoop 3.x(入门搭建+安装调优)_第14张图片

 ssh免登录原理



尚硅谷大数据Hadoop 3.x(入门搭建+安装调优)_哔哩哔哩_bilibili

Hadoop 3.x(入门搭建+安装调优)_第15张图片

 rsa私钥内容多   pub公钥内容少,把公钥拷贝到其他主机。访问自己也不行,也需要拷贝给自己

允许主机

Hadoop 3.x(入门搭建+安装调优)_第16张图片

Hadoop 3.x(入门搭建+安装调优)_第17张图片

Hadoop 3.x(入门搭建+安装调优)_第18张图片

core-site.xml 

Hadoop 3.x(入门搭建+安装调优)_第19张图片

hdfs-site.xml

Hadoop 3.x(入门搭建+安装调优)_第20张图片

yarn-site.xml

Hadoop 3.x(入门搭建+安装调优)_第21张图片

 

Hadoop 3.x(入门搭建+安装调优)_第22张图片

HDFS(分布式存储系统)用途:解决大数据的存储问题,YARN为Hadoop2.0引入的资源管理系统

HDFS和YARN的HA架构梳理_muyingmiao的博客-CSDN博客

HDFS由四部分组成:HDFS Client、NameNode(NN)、DataNode(DN)和Secondary NameNode(SSN)。 HDFS是一个主/从(Mater/Slave)体系结构,HDFS集群拥有一个NameNode和一些DataNode。NameNode管理文件系统的元数据,DataNode存储实际的数据。

YARN的介绍

ResourceManager: 全局资源管理和任务调度 
NodeManager: 单个节点的资源管理和监控 
ApplicationMaster: 单个作业的资源管理和任务监控 
Container: 资源申请的单位和任务运行的容器

HDFS处理分布式存储YARN处理分布式计算资源调度。简单来说两者关系不大。你完全可以只用HDFS不用YARN,理论上你也可以用YARN而不用HDFS。当然因为它们共同属于Hadoop,所以还真有些关系。

 NameNode角色:HDFS系统中的节点用于维护文件系统中所有文件的目录结构并跟踪文件数据存储于哪些数据节点。当客户端需要从HDFS 文件系统中获得文件时,它通过和NameNode通讯来知道客户端哪个数据节点上有客户端需要的文件。 一个Hadoop集群中只能有一个NameNode。NameNode不能被赋予其他角色。

DataNode角色:在HDFS中,DataNode是用来存储数据块的节点。

Secondary NameNode 角色:为NameNode上的数据创建周期性检查点的节点。节点将周期性地下载当前NameNode镜像和日志文件,将日志和镜像文件合并为一个新的镜像文件然后上传到NameNode。 被分配了NameNode角色的机器不应再被分配Secondary NameNode 角色。

Standby Namenode角色:Standby模式的NameNode元数据(Namespcae information 和 Block 都是和Active NameNode中的元数据是同步的,一但切换成Active模式,马上就可以提供NameNode服务。

 Hadoop 3.x(入门搭建+安装调优)_第23张图片

Hadoop 3.x(入门搭建+安装调优)_第24张图片

 

端口说明及配置文件

Hadoop 3.x(入门搭建+安装调优)_第25张图片

 

 

 

 

 

你可能感兴趣的:(工具,云计算,运维,服务器)