利用虚拟机virtualbox配置Hadoop开发环境总结

  导师课题未来需要对大规模传感数据进行处理,因此用Hadoop研究怎么处理海量数据。今天完成了Hadoop的安装,期间也遇到了很多问题,总结以备后用。

  主要参考了Hadoop配置安装1和Hadoop配置安装2.

错把校园网环境当做局域网环境

首先在本地电脑(master)上配置了两个虚拟机(slaves),网络设置方式自动DHCP。因此想着这“三台电脑”,通过校园网交换机构成了局域网。这样的一个后果就是虽然NAMENODE和DATANODE都能启动,但是NAMENODE无法监视到DATANODE的运行状态。(=.=计算机网络没学好。。)

设置SSH无密码登陆

master和slave,互相之间都要设置无密码登陆,不然也会造成NAMENODE无法监视到DATANODE。

格式化问题

格式化之后如果需要再次格式化,需要先清除新产生的data,temp文件夹内容,然后格式化,不然也会造成也会造成NAMENODE无法监视到DATANODE。

配置文件设置

Hadoop2.5.1中,配置文件的设置跟hadoop1.x.x略有不同,主要是yarn-site.xml的设置要正确,否则无法执行mapreduce操作。

你可能感兴趣的:(Hadoop)