安装hadoop集群---resourcemanager和NameNode不在同一台机器上

1、复制虚拟机，搞了5台。

1：namenode

2：secondardNameNode，resourcemanager

3，4，5：DataNode

 

2、修改了网卡配置，连接上SecureCRT

 

---------root----用户----------

3、date查看了时间

4、开机启动了 ntpdate

chkconfig --list

chkconfig --level 12345 ntpdate on

 

5、ntpdate 同步时间

service ntpdate restart

 

6、查看JAVA_HOME

echo $JAVA_HOME

 

-rw-r--r--. 2 root root 158 Jan 12 2010 hosts

-rw-r--r--. 1 root root 1796 Oct 2 2013 profile

8、每台配置本机域名

[root@zengmg etc]# vi /etc/sysconfig/network

 

NETWORKING=yes

HOSTNAME=hadoop1

 

9、每台配置hosts文件

多窗口发送命令

vi /etc/hosts

 

192.168.18.131 hadoop1

192.168.18.132 hadoop2

192.168.18.133 hadoop3

192.168.18.134 hadoop4

192.168.18.135 hadoop5

//要编写一个shell脚本，如果集群里有几十台怎么办？

 

10、关闭防火墙

chkconfig iptables off

service iptables stop

 

11、创建 hadoop 用户，密码

adduser hadoop

passwd hadoop

 

12、给hadoop用户配置root组

vi /etc/sudoers

## Allow root to run any commands anywhere

root ALL=(ALL) ALL

在这里添加

hadoop ALL=(ALL) ALL

 

---------------hadoop----用户-----------------------------

1、ssh免密码登录

hadoop1是NameNode。无需各台机器互相ssh免密码。只要hadoop1能免密访问其他机器

hadoop1机器上：

ssh-keygen -t rsa

ssh-copy-id hadoop1

ssh-copy-id hadoop2

ssh-copy-id hadoop3

ssh-copy-id hadoop4

ssh-copy-id hadoop5

 

hadoop2机器上：

ssh-keygen -t rsa

ssh-copy-id hadoop2

ssh-copy-id hadoop3

ssh-copy-id hadoop4

ssh-copy-id hadoop5

 

这个ssh免密登录是针对hadoop用户。root用户没有配置，不能免密登录对方。ssh免密是用户有效

 

1、上传JDK和hadoop

2、在hadoop的home目录下建文件夹 application。在/（根目录下）没有权限新建，只有root能建立。

[hadoop@hadoop1 /]$ mkdir application

mkdir: cannot create directory `application': Permission denied

3、解压hadoop，jdk的压缩包到 application 文件夹

tar -zxvf 压缩包 -C application

 

4、配置jdk，hadoop的环境变量

[hadoop@hadoop1 etc]$ sudo vi /etc/profile

export JAVA_HOME=/home/hadoop/application/jdk1.8.0_73

export HADOOP_HOME=/home/hadoop/application/hadoop-2.7.3

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin/:$HADOOP_HOME/sbin

 

5、使配置的变量生效

source /etc/profile

 

6、配置hadoop配置文件

1)、hadoop-env.sh shell文件配置javahome

# The java implementation to use.

export JAVA_HOME=/home/hadoop/application/jdk1.8.0_73

为什么要配置？

不知什么原因，没有读到

[hadoop@BD01 sbin]$ start-dfs.sh

Starting namenodes on [BD01]

BD01: Error: JAVA_HOME is not set and could not be found.

BD05: Error: JAVA_HOME is not set and could not be found.

BD04: Error: JAVA_HOME is not set and could not be found.

BD03: Error: JAVA_HOME is not set and could not be found.

 

 

2)、core-site.xml 文件配置 NameNode访问地址和namenode数据存放路径

fs.defaultFS

hdfs://hadoop1:9000

 

hadoop.tmp.dir

/home/hadoop/hadoop_data

 

------下面的配置是hive beeline的访问配置--

hadoop的core-site.xml增加配置

 

hadoop.proxyuser.root.groups

hadoop

 

//如果是 * 就是所有用户

 

hadoop.proxyuser.root.hosts

*

 

//这里配置了所有ip都允许代理访问。如果不允许，则配置IP地址

 

 

 

3)、hdfs-site.xml 文件配置 数据副本个数，可以不配置的。因为默认是3

此文件还配置 SecondaryNameNode

dfs.replication

3

 

dfs.namenode.secondary.http-address

hadoop2:50090

 

dfs.namenode.secondary.https-address

hadoop2:50091

 

 

4)、 map-site.xml 指定mr运行在yarn平台上，属于resourcemanager的配置

mv mapred-site.xml.template mapred-site.xml

mapreduce.framework.name

yarn

 

5)、yarn-site.xml 指定YARN的老大（ResourceManager）的地址，reducer获取数据的方式

yarn.resourcemanager.hostname

hadoop2

 

yarn.nodemanager.aux-services

mapreduce_shuffle

 

yarn.resourcemanager.webapp.address

hadoop2:8088

 

这个端口可以修改

 

问题：配置成与主节点namenode不同的机子，resourcemanager运行不起来，什么原因？

google下，说是Namenode和ResourceManger如果不是同一台机器，不能在NameNode上启动 yarn，应该在ResouceManager所在的机器上启动yarn。现在问题解决了，多谢提醒

懂了：原来，hdfs，yarn，mr是三个独立的组件。namenode是hdfs的头，resourcemanager是yarn的头。两个不同的头，在namenode上启动resourcemanager自然是起不来的。

所以，如果Namenode和ResourceManger如果不是同一台机器，那要启动hdfs，再启动yarn。不能用start-all一步到位。

还是有问题？如果resourcemanager所在节点没有配置slaves，nodemanager会在本地启动。

 

 

6)、配置slaves

注意：slaves里的配置是start-*.sh启动脚本要读取集群的配置文件。如果不配置，就会运行单机版本的。

默认是localhost

hadoop3，4，5是DataNode。也是yarn的NodeManager

hadoop3

hadoop4

hadoop5

----------------------

注意：此时namenode节点已经可以初始化。可以单独启动namenode，DataNode每启动一台，想namenode注册一台。NameNode初始化后，可以不用 start-all.sh【学习下里面的写法，如何遍历】或者下面的命令。

可以根据需要，到DataNode节点上去用命令启动。

hadoop-daemon.sh start namenode

hadoop-daemon.sh start datanode

 

7、scp application文件到其他节点

scp -r application hadoop2:/home/hadoop

.........

 

8、scp /etc/profile 到其他节点

sudo scp /etc/profile hadoop2:/etc/profile

..........

 

9、source /etc/profile 每个节点

source /etc/profile

 

10、格式化namenode（是对namenode进行初始化）

hdfs namenode -format

Storage directory /home/hadoop/hadoop_data/dfs/name has been successfully formatted.

 

11、启动hadoop

start-dfs.sh

12、启动YARN

在yarn.resourcemanager.hostname配置的hadoop2上启动

start-yarn.sh

13、验证是否成功

jps

----------------------------------------

[hadoop@hadoop1 ~]$ jps

2016 NameNode

2266 Jps

 

[hadoop@hadoop2 ~]$ jps

2116 ResourceManager

2379 Jps

1963 SecondaryNameNode

 

[hadoop@hadoop3 ~]$ jps

1968 DataNode

2244 Jps

2123 NodeManager

 

[hadoop@hadoop4 ~]$ jps

1939 DataNode

2216 Jps

2095 NodeManager

 

[hadoop@hadoop5 ~]$ jps

1939 DataNode

2216 Jps

2095 NodeManager

 

 

网页访问：

http://192.168.18.131:50070 （HDFS管理界面--hadoop1）

http://192.168.18.132:8088/ （MR管理界面--hadoop2）