hadoop-3.0.0集群环境搭建、配置

12月13日hadoop-3.0.0发布正式版啦，试试最新的

Release Notes：

Minimum required Java version increased from Java 7 to Java 8

Support for erasure coding in HDFS

……
Support for more than 2 NameNodes.

Default ports of multiple services have been changed.

but see the release notes for HDFS-9427 and HADOOP-12811 for a list of port changes.

下载：

wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.0.0/hadoop-3.0.0.tar.gz

解压：

tar xf hadoop-3.0.0.tar.gz

（一）修改配置文件

cd hadoop-3.0.0/etc/hadoop

core-site.xml

    fs.defaultFS
    hdfs://master:9000

hdfs-site.xml，

这一步需要先建立对应的目录：

mkdir -p /data/hd3/namenode /data/hd3/datanode

内容如下：

    
       dfs.replication
       2
    
    
       dfs.namenode.name.dir
       /data/hd3/namenode
    
    
       dfs.datanode.data.dir
       /data/hd3/datanode
    

yarn-site.xml

    yarn.resourcemanager.hostname
    master


    yarn.nodemanager.aux-services
    mapreduce_shuffle


    yarn.nodemanager.env-whitelist
    JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME


    yarn.nodemanager.vmem-check-enabled
    false


    yarn.nodemanager.resource.memory-mb
    49152


    yarn.scheduler.maximum-allocation-mb
    49152

mapred-site.xml

    
       mapreduce.framework.name
       yarn
    
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
        yarn.nodemanager.aux-services.mapreduce.shuffle.class
        org.apache.hadoop.mapred.ShuffleHandler
    

修改slave，注意，这里改成了workers文件

slave1
slave2

hadoop-env.sh中添加：（这里需要自己下载Java 8）

JAVA_HOME=/home/cloud/jdk1.8.0_144

修改profile文件

sudo vim /etc/profile

添加

export HADOOP_PREFIX=/home/cloud/hadoop-3.0.0
export HADOOP_HDFS_HOME=/home/cloud/hadoop-3.0.0
export HADOOP_CONF_DIR=/home/cloud/hadoop-3.0.0/etc/hadoop

执行生效

source /etc/profile

OK，至此配置全部完成，下面启动Hadoop。

（二）启动hadoop

老规矩，首次启动需要format namenode。

hdfs namenode -format

启动HDFS

start-dfs.sh

启动YARN

start-yarn.sh

如果不报错的话，应该看到如下信息：

在Master机器上通过JPS命令查看：

$ jps
6993 SecondaryNameNode
7715 NodeManager
9524 Jps
7371 ResourceManager
6492 NameNode
6669 DataNode

在Slave机器上jps：

$ jps
21360 DataNode
30233 Jps
21643 NodeManager

（三）Web端查看

访问 http://10.0.0.1:8088/

访问 http://10.0.0.1:9870 ，注意，这里是9870，不是50070了：

（四）OK，大功告成