Hadoop搭建注意事项

经过两次搭建环境实践后,总结搭建原理。

1方式 单机 http://blog.csdn.net/xuxiuning/article/details/51013571
2方式 多机 http://blog.csdn.net/xuxiuning/article/details/51018425

1 Hadoop 各个目录的解释

  • bin:Hadoop管理脚本和使用脚本所在目录, sbin目录下的脚本都是使用此目录下的脚本实现的。
  • etc:Hadoop的所有配置文件所在的目录,所有hadoop的配置在etc/hadoop目录下
  • include:对外提供的库的头文件
  • lib :对外提供的动态编程库和静态编程库,与include中的头文件结合使用
  • libexe:对各个服务对应的shell配置文件所在的目录,可用于配置日志输出目录,启动参数等基本信息
  • sbin:Hadoop管理脚本所在目录,主要包含HDFS和YARN中各类服务的启动和关闭脚本
  • share:Hadoop各个模块编译后的jar包所在的目录

2 HA的配置方式有多种,方法2使用的是其中一种

(1) 方法2使用的是JournalNode配置方式,需要至少准备3个JournalNode来保证nn1和nn2之间的同步,其中主节点最好不配置JournalNode
(2)两个NN应该位于不同的机器上,且不再配置其他服务,方法2中nn2配置了其他服务,是因为机器不够。
(3)HDFS2.0中无需再配置Secondary Name,nn2已经替代了其功能。
(4)主备两个NN有两种切换方式,手动切换和自动切换,其中自动切换是通过Zookeeper实现的,要单独部署一个Zookeeper集群,通常为奇数个节点,方法2当中使用的是手动切换方式。

你可能感兴趣的:(hadoop)