基于hadoop2.6.5搭建5个节点的分布式集群—(七)安装hadoop

1、将下载好的hadoop-2.6.5.tar.gz安装包,上传至hadoop001节点中的/usr/hadoop/app目录下。

2、解压安装包:tar zxvf hadoop-2.6.5.tar.gz。

3、重命名解压文件目录:mv  hadoop-2.6.5 hadoop

基于hadoop2.6.5搭建5个节点的分布式集群—(七)安装hadoop_第1张图片

4、删除hadoop-2.6.5.tar.gz

基于hadoop2.6.5搭建5个节点的分布式集群—(七)安装hadoop_第2张图片

5.配置hadoop家目录下的.bash_profile

基于hadoop2.6.5搭建5个节点的分布式集群—(七)安装hadoop_第3张图片

基于hadoop2.6.5搭建5个节点的分布式集群—(七)安装hadoop_第4张图片

生效.bash_profile配置


5.配置hadoop-env.sh

基于hadoop2.6.5搭建5个节点的分布式集群—(七)安装hadoop_第5张图片

基于hadoop2.6.5搭建5个节点的分布式集群—(七)安装hadoop_第6张图片

6.配置core-site.xml

基于hadoop2.6.5搭建5个节点的分布式集群—(七)安装hadoop_第7张图片

基于hadoop2.6.5搭建5个节点的分布式集群—(七)安装hadoop_第8张图片

7.配置hdfs-site.xml

基于hadoop2.6.5搭建5个节点的分布式集群—(七)安装hadoop_第9张图片

基于hadoop2.6.5搭建5个节点的分布式集群—(七)安装hadoop_第10张图片

基于hadoop2.6.5搭建5个节点的分布式集群—(七)安装hadoop_第11张图片

基于hadoop2.6.5搭建5个节点的分布式集群—(七)安装hadoop_第12张图片

基于hadoop2.6.5搭建5个节点的分布式集群—(七)安装hadoop_第13张图片

8.配置 slave

基于hadoop2.6.5搭建5个节点的分布式集群—(七)安装hadoop_第14张图片

基于hadoop2.6.5搭建5个节点的分布式集群—(七)安装hadoop_第15张图片

9. 向其他节点分发hadoop安装包:

10. 启动所有节点上面的Zookeeper进程

runRemoteCmd.sh "/usr/hadoop/app/zookeeper/bin/zkServer.sh start" zookeeper

基于hadoop2.6.5搭建5个节点的分布式集群—(七)安装hadoop_第16张图片

11.启动所有节点上面的journalnode进程

runRemoteCmd.sh "/usr/hadoop/app/hadoop/sbin/hadoop-daemon.sh start journalnode" all

基于hadoop2.6.5搭建5个节点的分布式集群—(七)安装hadoop_第17张图片

12.在hadoop001(主节点)上执行格式化

切换到/usr/hadoop/app/hadoop/

namenode格式化(bin/hdfs namenode -format)


格式化高可用(bin/hdfs zkfc -formatZK)


启动namenode

13.接下来,需要在hadoop002(备节点)上执行数据同步(bin/hdfs namenode -bootstrapStandby)

基于hadoop2.6.5搭建5个节点的分布式集群—(七)安装hadoop_第18张图片

14.hadoop002同步完数据后,紧接着在hadoop001节点上,按下ctrl+c来结束namenode进程。 然后关闭所有节点上面的journalnode进程(runRemoteCmd.sh "/usr/hadoop/app/hadoop/sbin/hadoop-daemon.sh stop journalnode" all)
基于hadoop2.6.5搭建5个节点的分布式集群—(七)安装hadoop_第19张图片
如果上面操作没有问题,我们可以一键启动hdfs所有相关进程
基于hadoop2.6.5搭建5个节点的分布式集群—(七)安装hadoop_第20张图片
验证是否启动成功

基于hadoop2.6.5搭建5个节点的分布式集群—(七)安装hadoop_第21张图片

基于hadoop2.6.5搭建5个节点的分布式集群—(七)安装hadoop_第22张图片

基于hadoop2.6.5搭建5个节点的分布式集群—(七)安装hadoop_第23张图片

出现上面信息,说明启动成功。

使用bin/hdfs haadmin -failover nameService2 nameService1命令,将hadoop001切换成active, hadoop2切换成standby,其中,nameService1、nameService2是在hdfs-site.xml文件中的dfs.ha.namenodes. clusterl指定的

基于hadoop2.6.5搭建5个节点的分布式集群—(七)安装hadoop_第24张图片

基于hadoop2.6.5搭建5个节点的分布式集群—(七)安装hadoop_第25张图片

测试hdfs

基于hadoop2.6.5搭建5个节点的分布式集群—(七)安装hadoop_第26张图片

你可能感兴趣的:(hadoop生态环境搭建)