Hadoop集群搭建(HDFS和Yarn集群)

hadoop集群搭建(HDFS和Yarn集群)

原创文章,未经允许不得转载

1.安装hadoop2.7.4

上传hadoop的安装包到服务器
 hadoop-2.7.4-with-centos-6.7.tar.gz
 解压安装包
 tar zxvf hadoop-2.7.4-with-centos-6.7.tar.gz

注意：hadoop2.x的配置文件目录：$HADOOP_HOME/etc/hadoop

1.1修改hadoop配置文件

cd /$HADOOP_HOME/etc/hadoop
第一个：hadoop-env.sh

vi hadoop-env.sh
修改:
export JAVA_HOME=/export/service/jdk

第二个：core-site.xml

    fs.defaultFS
    hdfs://vim01:9000





    hadoop.tmp.dir
    /export/software/hadoop/tmp

第三个：hdfs-site.xml

    dfs.replication
    2

    

    dfs.namenode.secondary.http-address
    vim02:50090

第四个：mapred-site.xml

mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

    mapreduce.framework.name
    yarn

第五个：yarn-site.xml

    yarn.resourcemanager.hostname
    vim01




    yarn.nodemanager.aux-services
    mapreduce_shuffle

第六个：slaves文件，里面写上从节点所在的主机名字

vi slaves
改为:
vim01
vim02
vim03

1.2将hadoop添加到环境变量

vim /etc/proflie
    export HADOOP_HOME=/root/apps/hadoop-2.7.4
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

1.3第一次安装一定要格式化namenode（本质是对namenode进行初始化,只能格式化一次）

    hdfs namenode -format (hadoop namenode -format)

1.4启动hadoop

    先启动HDFS
    sbin/
    start-dfs.sh

    再启动YARN
    sbin/
    start-yarn.sh

1.5验证是否启动成功

    使用jps命令验证
    27408 NameNode
    28218 Jps
    27643 SecondaryNameNode   (secondarynamenode)
    28066 NodeManager
    27803 ResourceManager
    27512 DataNode

    http://192.168.1.101:50070 （HDFS管理界面）
    http://192.168.1.101:8088 （MR管理界面）