centos6.5下hadoop2.2.0的8节点配置兼动态添加节点测试

hadoop2.2.0 的8节点 配置

测试环境:硬件dell服务器

esxi5.1版虚拟化  这里虚拟化环境应该无所谓,vm的测试环境部署起来简单。

centos6.5下hadoop2.2.0的8节点配置兼动态添加节点测试_第1张图片
后续会放出openstack环境下的部署。

centos6.5 32位迷你版

hadoop2.2.0官方下载

本轮测试只偏重测试hdfs,没有对分布式计算进行测试。

1、 下载  cd /opt    

      wget http://mirror.bit.edu.cn/apache/hadoop/common/stable2/hadoop-2.2.0.tar.gz

       tar -zxvf hadoop-2.2.0.tar.gz

然后关闭selinuxiptables    执行setenforce 0 && service iptables off

推荐永久关闭    请参考网上相关文档。

这里rpmoracle官方的jdk32位。

Vi /opt/hadoop-2.2.0/etc/hadoop/hadoop-env.sh

更改export JAVA_HOME=/usr/java/jdk1.7.0_45/ 这里视自己的jdk版本而定。

2、编辑host文件  vi /etc/hosts

192.168.1.181 hadoop181
192.168.1.182 hadoop182
192.168.1.183 hadoop183
192.168.1.184 hadoop184
192.168.1.185 hadoop185
192.168.1.186 hadoop186
192.168.1.187 hadoop187
192.168.1.188 hadoop188
192.168.1.189 hadoop189

 

3、如下操作都在第一台服务器配置,配置完后直接clone其他服务器就行。快速简单。

其中181定义为主节点,其他从。

开始配置ssh免登陆。有的centos没有openssh客户端,需要装 yum install openssh-clients

然后开始建ssh目录  mkdir ~/.ssh

然后生成密钥 执行 sshkeygen 一路y下去

拷贝公钥 cat  ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

4、 更改配置文件  如下配置都在模块下

配置核心文件

vi /opt/hadoop-2.2.0/etc/hadoop/core-site.xml

 

  hadoop.tmp.dir

 /tmp/hadoop

 

 fs.default.name

 hdfs://192.168.1.181:8010

 

property>

 

更改map文件

mv 

/opt/hadoop-2.2.0/etc/hadoop/mapred-site.xml.template  /opt/hadoop-2.2.0/etc/hadoop/mapred-site.xml

 

vi  /opt/hadoop-2.2.0/etc/hadoop/mapred-site.xml

 mapred.job.tracker

 192.168.1.181:54311

 

 

更改hdfs的配置

vi  /opt/hadoop-2.2.0/etc/hadoop/hdfs-site.xml

 dfs.replication

 2

 

 

5、开始配置181slave

vi /opt/hadoop-2.2.0/etc/hadoop/slaves

hadoop182

hadoop183

hadoop184

hadoop185

(这里先只放4个节点,后续测试动态增加节点)

本次采用的是整个虚拟机整体复制8份部署测试,如果不是这种部署方式的话需要配置ssh登陆和hosts文件,并且拷贝一份已经配置好的hadoop到其他服务器的同路径下。

6、开始启动:

格式化/opt/hadoop-2.2.0/bin/hdfs namenode -format

然后启动/opt/hadoop-2.2.0/sbin/start-dfs.sh

/opt/hadoop-2.2.0/sbin/start-yarn.sh

Ok,幸福时光到了,打开http://192.168.1.181:8088 这个地址看吧

然后打开http://192.168.1.181:50070 ,这个地址可以看看hdfs的相关信息。

 

7、 开始测试动态添加节点

打开181上的vi /opt/hadoop-2.2.0/etc/hadoop/slaves

添加上 

hadoop186

hadoop187

hadoop188

hadoop189

然后执行/opt/hadoop-2.2.0/sbin/start-dfs.sh ,会自动启动另外4台服务器的hdfs,然后到主服务器的http://192.168.1.181:50070 查看下当前的Live Node ,数量正确则没问题。

centos6.5下hadoop2.2.0的8节点配置兼动态添加节点测试_第2张图片

刷新节点的命令为:/opt/hadoop-2.2.0/bin/hdfs dfsadmin -refreshNodes

然后测试看了下 在182上添加的文件在所有服务器上都可以看到。

至于其他hdfs的操作请参考网上其他文档。


你可能感兴趣的:(java,hadoop)