集群部署重新规划

由于之前已经搭建好的集群中master职务过于多,会造成效率降低,故将NameNode、SecondaryNameNode、和ResourceManager 分开部署到三个节点上。

master slaver1 slaver2 slaver3 slaver4 slalver5
HDFS NameNode
DateNode
SecondaryNameNode
DateNode
DateNode DateNode DateNode DateNode
YARN NodeManager NodeManager ResourceManager NodeManager NodeManager NodeManager NodeManager

修改hdfs-site.xml文件,将图中master改为slaver1

    vim hdfs-site.xml

集群部署重新规划_第1张图片

配置Yarn

vim yarn-env.sh

添加JAVA_HOME

export JAVA_HOME=/usr/local/jdk/jdk1.8.0_181

集群部署重新规划_第2张图片

配置yarn-site.xml

vim yarn-site.xml

将ResourceManager 的主机名都改为slaver2
集群部署重新规划_第3张图片

配置 vim mapred-env.sh

vim mapred-env.sh

集群部署重新规划_第4张图片

同步分发配置

 xsync.sh hdfs-site.xml
xsync.sh yarn-env.sh
xsync.sh yarn-site.xml
xsync.sh mapred-env.sh

启动集群
集群部署重新规划_第5张图片

启动了hdfs,接下来启动yarn,因为ResourceManager在slaver2上,所以,启动时必须在slaver2上启动yarn
集群部署重新规划_第6张图片

你可能感兴趣的:(hadoop)