Hadoop集群搭建:4.修改Hadoop的配置文件、节点启动

配置文件的路径:/module/hadoop-2.7.2/etc/hadoop
1.核心配置文件

配置core-site.xml, 命令:vi core-site.xml

在该文件的中  config 范围内  编写如下配置

         fs.defaultFS

         hdfs://node1:9000

         hadoop.tmp.dir

         /module/hadoop-2.7.2/data/tmp


core-site.xml

2.HDFS配置文件

配置hadoop-env.sh,命令: vi hadoop-env.sh ,在文本里找到java_home进行编辑

export JAVA_HOME=/module/jdk1.8.0_144


JAVA_HOME


配置hdfs-site.xml,命令: vi hdfs-site.xml

在该文件中编写如下配置:(配置副本的数量和secondnamenode 的节点地址)

      dfs.replication

      1

      dfs.namenode.secondary.http-address

      node2:50090


hdfs-site.xml

3.YARN配置文件

配置yarn-env.sh, 命令:vi yarn-env.sh,在文本里找到java_home进行编辑

export JAVA_HOME=/module/jdk1.8.0_144


yarn-env.sh

配置yarn-site.xml, 命令:vi yarn-site.xml

在该文件中增加如下配置

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.resourcemanager.hostname

node3


yarn-site.xml

4.MapReduce配置文件

配置mapred-env.sh, 命令:vi mapred-env.sh

export JAVA_HOME=/module/jdk1.8.0_144


mapred-env.sh

配置mapred-site.xml,先重命名在配置。命令:cp mapred-site.xml.template mapred-site.xml

命令:vi mapred-site.xml

在该文件中增加如下配置

mapreduce.framework.name

yarn


mapred-site.xml

slaves配置    vi slaves ,不能有空格,不能有空行

配置datanode的节点

node1

node2

node3


5.创建分发脚本

脚本实现

(a)在/home目录下创建bin目录,并在bin目录下xsync创建文件,文件内容如下:

mkdir bin  cd bin/  touch xsync  vi xsync

在该文件中编写如下代码:

-----------------
#!/bin/bash

#1 获取输入参数个数,如果没有参数,直接退出

pcount=$#

if((pcount==0)); then

echo no args;

exit;

fi

#2 获取文件名称

p1=$1

fname=`basename $p1`

echo fname=$fname

#3 获取上级目录到绝对路径

pdir=`cd -P $(dirname $p1); pwd`

echo pdir=$pdir

#4 获取当前用户名称

user=`whoami`

#5 循环

for  host in 1 2 3

do

        echo ------------------- $host --------------

        rsync -rvl $pdir/$fname $user@node$host:$pdir

done

----------------

分发脚本

(b)修改脚本 xsync 具有执行权限,chmod 777 xsync

(c)调用脚本形式:xsync 文件名称  xsync /home/bin

注意:如果将xsync放到/home/bin目录下仍然不能实现全局使用,可以将xsync移动到/usr/local/bin目录下。

分发hadoop 和 java 文件:进入到/module    使用:  xsync XXXXX

6.生成公钥和私钥:

cd 命令进入到家目录 ,进入   cd .ssh

 执行:ssh-keygen -t rsa

然后敲(三个回车),就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)


生成的钥匙

(3)将公钥拷贝到要免密登录的目标机器上

ssh-copy-id node1 (自己也要发送)

 ssh-copy-id node2

 ssh-copy-id node3

测试看看是不是生效: ssh node1


(4)在其他节点也配置ssh

7.集群启动

如果集群是第一次启动,需要格式化NameNode:进入到hadoop目录:hadoop namenode -format

启动dfs:进入Node1  hadoop目录下,启动命令:sbin/start-dfs.sh

启动yarn(RM):进入node3 hadoop目录下,启动命令:sbin/start-yarn.sh

查看进程:jps


nod1节点的进程


node2节点的进程
node3节点的进程

你可能感兴趣的:(Hadoop集群搭建:4.修改Hadoop的配置文件、节点启动)