hadoop集群搭建详细步骤——集群搭建

虚拟机克隆和网络环境配置
该集群搭建步骤由博主亲测无误，集群搭建过程中出了任何问题都可以留言

集群准备

一、虚拟机克隆
　　１、虚拟机关闭状态下右键点击虚拟机选择克隆
　　２、选择创建完整克隆，定义虚拟机名称和路径
　　３、点击完成等待虚拟机克隆　　　　　　　　　　　　　　　　　　至少克隆两台虚拟机　　
二、克隆机网络设置
　　１、两台克隆机分别重新生成ＭＡＣ地址　　　　　　　
　　　具体步骤可见于上一篇的系统准备　上一篇博客
　　２、两台克隆机分别使用root账户登录并设置静态IP
　　　　nano　/etc/sysconfig/network-scripts/ifcfg-网卡名
　　　　修改网络静态IP　(三台虚拟机的网络静态IP不可重复)
　　　　具体修改规则见 上一篇博客
　　　　service network restart 重启网络服务使修改生效
　　3、两台克隆机分别使用root账户登录并修改机器名
　　　　nano　/etc/hostname　　　　三台主机名不重复即可　　　
　　４、三台虚拟机实现虚拟机互访
　　　　三台虚拟机　nano　/etc/hosts，最后一行添加
　　　　　　192.140.90.211(网络静态IP)　a1(主机名) 　a1.localdomain
　　　　　　＊.＊.＊.＊ a2 a2.localdomain
　　　　　　＊.＊.＊.＊ a3 a3.localdomain
　　　　reboot重启使修改生效　　　
三、三台虚拟机免密登陆
　　１、配置sudo免密码
　　　　/etc/sudoers
　　　　bda ALL=(root)NOPASSWD:ALL
　　２、三台虚拟机上使用ssh-keygen产生公钥私钥对（直接回车全部不用输入）
　　　　ssh-keygen
　　３、分别推送到其他两台虚拟机上
　　　　ssh-copy-id　a2
　　　　ssh-copy-id　a3
　　４、分别测试免密登录
　　　　ssh 主机名
四、关闭防火墙
　　１、关闭linux安全子模块
　　　nano 　/etc/sysconfig/selinux　　编辑
　　　　　SELINUX=disabled
　　　source 　/etc/sysconfig/selinux　重新加载生效
　　２、systemctl stop firewalld.service 　关闭防火墙
　　　　systemctl disable firewalld.service 　设置开机不启动防火墙(需要先关闭)
　　　　ps -ef|grep firewall　查看防火墙是否关闭
　　　　service iptables status　查看iptables状态

集群搭建

一、Hadoop安装和环境变量的配置
　　１、解压到指定目录 （三台虚拟机只解压其中的一个，配置好xml文件在推送到其他虚拟机）
　　　　tar -zxf /opt/software/hadoop-2.7.7.tar.gz -C /opt/modules/
　　２、环境变量设置
　　　　nano 　/etc/profile　　编辑　末尾追加
　　　　　　#HADOOP_HOME
　　　　　　export HADOOP_HOME=/opt/modules/hadoop-2.7.7
　　　　　　export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
　　　　source 　/etc/profile　　编译生效
　　３、hadoop配置文件 （配置文件不建议手写，不然后果很严重）
　　　　共８个配置文件，切勿遗漏
　　　　core-site.xml

        
                fs.defaultFS
                hdfs://a1:9000
         
        
         
                hadoop.tmp.dir
                /opt/data/full/tmp
        

hdfs-site.xml

    
    
       dfs.replication
       2
    

    
       dfs.namenode.secondary.http-address
       a2:50090
    

mapred-site.xml.template　重命名为mapred-site.xml

    
        mapreduce.framework.name
        yarn
	

slaves 三台虚拟机的主机名

a1
a2
a3

yarn-site.xml

   
       yarn.nodemanager.aux-services
       mapreduce_shuffle
   
 
   
       yarn.resourcemanager.hostname
       a2
   

hadoop-env.sh、mapred-env.sh、yarn-env.sh
　　　　把export JAVA_HOME的注释去掉并修改为正确的jdk路径
　　４、配置好的hadoop文件推送到其他两台
　　　　scp -r 目录/文件 a3（主机名）:路径
　　　　scp -r /opt/modules/ a3:/opt/modules/
二、集群启动与测试
　　１、namenode初始化（第一次启动需要namenode初始化）
　　　　hdfs namenode -format　　　集群初始化命令
　　2、集群启动
　　　　start-dfs.sh 　（namenode上启动）
　　　　start-yarn.sh （一定要在yarn.xml指定的节点上启动，重中之重，不然resoumanager启动不来）
　　3、jps查看进程 　　（进程缺一不可）
　　　　分别对应namenode、secondnode、datanode上的进程
　　
　　4、集群样例测试
　　　　hadoop jar /opt/modules/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar pi 2 2
　　
集群常见错误及解决方法：　　
　　1、如果出了集群安全模式的报错
　　　　hdfs dfsadmin -safemode leave 关闭安全模式
　　2、出现连接不上或者连接超时的问题，大概率是resourcemanager没有启动起来的问题
　　　　注意查看自己的进程，如果resourcemanager进程没有启动起来，重新启动即可（指定的节点上启动）　　
　　3、对于其他问题，一般来说只要配置文件没什么问题，对namenode再次初始化后都可以修复
　　　　除第一次初始化外，后序的namenode初始化都需要先清空core-site.xml里指定的目录下的所有文件