第一章 hadoop集群搭建

1.搭建三台机子节点说明:

hadoop1:NameNode,DataNode,NodeManager,SecondaryNameNode,ResourceManager

hadoop2:                    DataNode,NodeManager

hadoop3:                    DataNode,NodeManager


2.配置三台环境(Linux文章有介绍)

1)修改IP

2)修改

3)修改主机名和IP映射关系

4)关闭防火墙

5)配置ssh免密登陆

6)安装JDK


3.上传hadoop安装包并解压


4.修改hadoop配置文件(/hadoop-2.4.1/etc/hadoop/)

1)vi hadoop-env.sh


2) vi core-site.xml


3) vi hdfs-site.xml


4)修改mapred-site.xml.template名称


5) vi mapred-site.xml


6) vi yarn-site.xml


7) vi slaves(修改此文件,能够一键启动三台机子的hadoop)




6.将hadoop文件夹传送给其他两台机子



7.配置hadoop的环境变量



8.将环境变量传给其他两台机子



9.初始化三台机子的环境变量

source /etc/profile


10.格式化NameNode

hadoop namenode -format


11.启动hadoop

先启动HDFS: ./start-dfs.sh

再启动YARN: ./start-yarn.sh


12 管理界面

HDFS管理界面: http://hadoop1:50070

MR管理界面: http://hadoop1:8088

你可能感兴趣的:(第一章 hadoop集群搭建)