完全分布式集群配置

完全分布式集群配置

1 集群部署规划

2.配置集群

以下操作都使用dev1账户

（1）HDFS配置文件
配置hadoop-env.sh

 vim hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144

（2）核心配置文件
配置core-site.xml

 vim core-site.xml

在该文件中编写如下配置

        fs.defaultFS
      hdfs://hadoop102:9000




        hadoop.tmp.dir
        /opt/module/hadoop-2.7.2/data/tmp

（3）配置hdfs-site.xml

vim hdfs-site.xml

在该文件中编写如下配置

        dfs.replication
        3




      dfs.namenode.secondary.http-address
      hadoop104:50090

（4）YARN配置文件
配置yarn-env.sh

vim yarn-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144

配置yarn-site.xml

 vim yarn-site.xml

在该文件中增加如下配置

        yarn.nodemanager.aux-services
        mapreduce_shuffle




        yarn.resourcemanager.hostname
        hadoop103

（5）MapReduce配置文件
配置mapred-env.sh

vim mapred-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144

配置mapred-site.xml

cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

在该文件中增加如下配置

        mapreduce.framework.name
        yarn

3．在集群上分发配置好的Hadoop配置文件

Mysync /opt/module/hadoop-2.7.2/

4．查看文件分发情况

cat /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml