haddop从单机改为集群

Host配置

vim /etc/hosts

如果没有足够的权限，可以切换用户为root。 三台机器的内容统一增加以下host配置： 可以通过hostname来修改服务器名称为master、slave1、slave2

192.168.71.242 master
192.168.71.212 slave1
192.168.71.213 slave2

配置SSH无密码登录

设置ssh免密码登录

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

chmod 0600 ~/.ssh/

authorized_keys

具体可参照点击

修改vim mapred-site.xml

<configuration>

<property>
  <name>mapreduce.framework.namename>
  <value>yarnvalue>
property>

configuration>

修改/hadoop-2.8.2/etc/hadoop/slaves

将原来的localhost删除，改成如下内容

vim /hadoop-2.8.2/etc/hadoop/slaves

slave1
slave2

最后，将整个hadoop-2.8.2文件夹及其子文件夹使用scp复制到slave1和slave2的相同目录中：

scp -r /usr/local/hadoop-2.8.2 root@slave1:/usr/local

scp -r /usr/local/hadoop-2.8.2 root@slave2:/usr/local

启动并运行hadoop 参见