hadoop 分布式切换为伪分布式(单机)

CentOS hadoop 伪分布式安装步骤

CentOS hadoop 伪分布式安装步骤

我们知道 hadoop 伪分布式向分布式转换时,主要修改hadoop 的两个配置文件,

  • conf/slaves:维护从节点(负责启动datanode、TaskTracker);
  • conf/masters:指定启动secondarynamenode的主机名;

可见当我们试图从分布式向伪分布式转换时,需要修改的也是这两个文件,它们的内容均为当前主机名(namenode、JobTracker所在的主机名,由 conf/core-site.xml 和 map-red.xml 配置指定)。

步骤如下:

  • (1)修改slaves、masters配置文件,均只有一条内容,与namenode(JobTracker)所在的主机名保持一致;

  • (2)格式化:hadoop namenode -format

  • (3)验证:hadoop dfsadmin -report,显然这时的Live Datanodes 为 1,不为1,则伪分布式搭建失败、

  • (4)伪分布式搭建失败的解决方案:可以删除所涉及节点的临时文件夹,也即hadoop根目录下的tmp文件(由系统自动创建),这样虽然之前的数据会被删掉,但能保证集群正确启动。所以如果集群以前能启动,但后来启动不了,特别是 DataNode 无法启动,不妨试着删除所有节点(包括 Slave 节点)上的 /usr/local/hadoop/tmp 文件夹,再重新执行一次 hadoop namenode -format,再次启动试试。

References

[1] Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS

你可能感兴趣的:(hadoop 分布式切换为伪分布式(单机))