hadoop、zookeeper完全分布式搭建，高可用集群搭建

一、hadoop完全分布式搭建

1.准备3台虚拟机（关闭防火墙、静态ip,主机名称），主机名称分别为hadoop2、hadoop3、hadoop4（具体看其他文章）

2.安装jdk，配置环境变量

3.配置ssh，免密登录（shell）
在shell中选中工具–>发送键输入到所有会话，可以同时在所有窗口中输入命令
1）在三台机器里同时生成一对公私钥

ssh-keygen -t rsa -P ''
:后自己填 一般与前面一样  /root/.ssh/id_rsa

2）可以查看是否生成

cd ~/.ssh/
ls
.pub为公钥，另一个同名的为私钥

3）把公钥复制进authorized_keys里（三台）

cp id_rsa.pub authorized_keys

4）将子节点的公钥拷贝到主节点并添加进authorized_keys

在子节点上执行远程拷贝并改名
scp -r /root/.ssh/id_rsa.pub root@hadoop2:/root/.ssh/id_rsa_hadoop3.pub
scp -r /root/.ssh/id_rsa.pub root@hadoop2:/root/.ssh/id_rsa_hadoop4.pub
把拷贝好的公钥并到authorized_keys中
主节点上执行
cat id_rsa_hadoop3.pub >> authorized_keys
cat id_rsa_hadoop4.pub >> authorized_keys

5）把主节点上的authorized_keys文件替换子节点上的authorized_keys

scp -r authorized_keys root@hadoop3:$pwd
scp -r authorized_keys root@hadoop4:$pwd

6）测试是否配置成功
在每台节点上分别执行ssh另外两台机器名，若能互相登录，则配置无密成功

4.hadoop安装
1）把下载的压缩文件包放入到opt，执行压缩命令

tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz

2）移动并重命名hadoop文件(目录自己创建)

mv hadoop-2.6.0-cdh5.14.2.tar soft/hadoop260/

3）配置环境变量

vi /etc/profile
在末尾添加
export HADOOP_HOME=/opt/soft/hadoop260
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
添加完成后，退出
source /etc/profile

4）配置hadoop配置文件
cd /opt/soft/hadoop260/etc/hadoop
vi hadoop-env.sh

export JAVA_HOME=/opt/soft/hadoop260

vi core-site.xml

configuration里添加
<!-- 指定HDFS中NameNode的地址 -->
	<property>
		<name>fs.defaultFS</name>
        <value>hdfs://hadoop2:9000</value>
	</property>

	<!-- 指定hadoop运行时产生文件的存储目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/install/hadoop/data/tmp</value>
	</property>

vi hdfs-site.xml

<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>

	<property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop4:50090</value>
    </property>

vi yarn-env.sh

export JAVA_HOME=/opt/install/jdk

vi yarn-site.xml

<!-- reducer获取数据的方式 -->
	<property>
		 <name>yarn.nodemanager.aux-services</name>
		 <value>mapreduce_shuffle</value>
	</property>

	<!-- 指定YARN的ResourceManager的地址 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop3</value>
	</property>

vi mapred-site.xml

<!-- 指定mr运行在yarn上 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

vi slaves

hadoop2
hadoop3
hadoop4

vi /etc/hosts

ip地址用自己的
192.168.56.xxx hadoop2
192.168.56.xxx hadoop3
192.168.56.xxx hadoop4

4）集群分发配置文件

scp -r /opt/soft/hadoop260 root@hadoop3:/opt/soft/hadoop260
scp -r /opt/soft/hadoop260 root@hadoop4:/opt/soft/hadoop260

5）格式化hdfs

bin/hdfs namenode -format

6）启动hdfs(hadoop2主节点)

sbin/start-dfs.sh

7）启动yarn(hadoop3)配置里设置了yarn的启动节点

sbin/start-yarn.sh

8）jps和web页面查看（50070端口和8088端口）

9）集群规划jps可以看到

|      | hadoop2            | hadoop3                      | hadoop4                     |
| ---- | ------------------ | ---------------------------- | --------------------------- |
| HDFS | NameNode  DataNode | DataNode                     | SecondaryNameNode  DataNode |
| YARN | NodeManager        | ResourceManager  NodeManager | NodeManager                 |

5.时间同步
1）在主节点上

查看是否安装了ntp
rpm -qa | grep ntp
安装ntp
yum -y install ntp

2）修改配置
vi /etc/ntp.conf

# 修改1（设置本地网络上的主机不受限制。）
#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap为
restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
# 修改2（设置为不采用公共的服务器）
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst为
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
# 添加3（添加默认的一个内部时钟数据，使用它为局域网用户提供服务。）
server 127.127.1.0
fudge 127.127.1.0 stratum 10

vi /etc/sysconfig/ntpd

# 增加内容如下（让硬件时间与系统时间一起同步）
SYNC_HWCLOCK=yes

重新启动ntpd

service ntpd status
service ntpd start
chkconfig ntpd on

3）其他节点配置

crontab -e
*/10 * * * * /usr/sbin/ntpdate hadoop2

hadoop配置完成

二、zookeeper完全分布式搭建

1.上传并解压文件

tar -zxf zookeeper-3.4.5-cdh5.14.2.tar.gz

2.移动并命名文件

mv zookeeper-3.4.5-cdh5.14.2.tar.gz /soft/zk345

3.在zk345目录下创建文件夹(配置文件存放路径)
mkdir -p tmp/data
4.配置zoo.cfg

进入文件conf
cd conf
mv zoo_sample.cfg zoo.cfg
vi zoo.cfg
具体配置
修改dataDir
dataDir=/opt/soft/zk345/tmp/data
在文件末尾增加如下配置（注意和上文连接不要有空格，不然zookeeper输入启动命令没反应）
server.2=hadoop2:2288:3388
server.3=hadoop3:2288:3388
server.4=hadoop4:2288:3388

5.集群操作(每台机器都编写)
1）在dataDir指定目录下创建一个myid的文件（文件名不可乱写）

touch myid

2）配置myid（与zoo.cfg里的server）
在对应机器里的id中添加与server对应的编号

hadoop2里myid添加2
hadoop3里myid添加3
hadoop4里myid添加4

6.配置环境变量(3台机器)
vi /etc/profile

export ZK_HOME=/opt/soft/zk345
export PATH=$PATH:$ZK_HOME/bin

使环境变量生效

source /etc/profile

7.分别启动zookeeper服务

zkServer.sh start

8.jps查看进程

出现QuorumPeerMain表示启动成功

9.查看状态(follower和leader)

zkServer.sh status

三、高可用集群搭建（HDFS-HA集群）
1.前提：hadoop完全分布式和zookeeper完全分布式环境已经安装完成
2.配置文件(主节点上)(文件的存储路径和机器名称根据自己的修改)
/opt/soft/hadoop260/data/tmp
/opt/soft/hadoop260/data/jn
两个目录没有的话需自己创建
vi core-site.xml

<configuration>
   	<property>
    		 <name>fs.defaultFS</name>
     		<value>hdfs://mycluster</value>
   	</property>
  	 <property>
     		<name>hadoop.tmp.dir</name>
    		 <value>/opt/soft/hadoop260/data/tmp</value>
   	</property>
   	<property>
     		<name>ha.zookeeper.quorum</name>
     		<value>hadoop2:2181,hadoop3:2181,hadoop4:2181</value>
   	</property>
   	<property>
   		<name>hadoop.proxyuser.root.hosts</name>
     		<value>*</value>
   	</property>
   	<property>
     		<name>hadoop.proxyuser.root.groups</name>
     		<value>*</value>
   	</property>
</configuration>

vi hdfs-site.xml

<configuration>
	<property>
  		<name>dfs.nameservices</name>
  		<value>mycluster</value>
	</property>
	<property>
 		 <name>dfs.ha.namenodes.mycluster</name>
  		<value>nn1,nn2</value>
	</property>
	<property>
  		<name>dfs.namenode.rpc-address.mycluster.nn1</name>
  		<value>hadoop2:9000</value>
	</property>
	<property>
  		<name>dfs.namenode.rpc-address.mycluster.nn2</name>
  		<value>hadoop3:9000</value>
	</property>
	<property>
  		<name>dfs.namenode.http-address.mycluster.nn1</name>
  		<value>hadoop2:50070</value>
	</property>
	<property>
  		<name>dfs.namenode.http-address.mycluster.nn2</name>
  		<value>hadoop3:50070</value>
	</property>
	<property>
  		<name>dfs.namenode.shared.edits.dir</name>
  		<value>qjournal://hadoop2:8485;hadoop3:8485;hadoop4:8485/mycluster</value>
	</property>
	<property>
  		<name>dfs.ha.fencing.methods</name>
 		<value>shell(/bin/true)</value>
	</property>
	<property>
 		<name>dfs.ha.fencing.ssh.private-key-files</name>
  		<value>/root/.ssh/id_rsa</value>
	</property>
	<property>
  		<name>dfs.journalnode.edits.dir</name>
  		<value>/opt/soft/hadoop260/data/jn</value>
	</property>
	<property>
  		<name>dfs.permissions.enable</name>
  		<value>false</value>
	</property>
	<property>
  		<name>dfs.client.failover.proxy.provider.mycluster</name>
  		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	<property>
  		<name>dfs.replication</name>
 		 <value>3</value>
	</property>
	<property>
  		<name>dfs.namenode.secondary.http-address</name>
  		<value>hadoop4:50090</value>
	</property>
	<property>
  		<name>dfs.ha.automatic-failover.enabled</name>
  		<value>true</value>
	</property>
</configuration>

vi mapred-site.xml

<configuration>
<property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>

vi yarn-site.xml

<configuration>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.resourcemanager.ha.enabled</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.resourcemanager.cluster-id</name>
		<value>cluster-yarn1</value>
	</property>
	<property>
		<name>yarn.resourcemanager.ha.rm-ids</name>
		<value>rm1,rm2</value>
	</property>
	<property>
		<name>yarn.resourcemanager.hostname.rm1</name>
		<value>hadoop2</value>
	</property>
	<property>
		<name>yarn.resourcemanager.hostname.rm2</name>
		<value>hadoop3</value>
	</property>
	<property>
		<name>yarn.resourcemanager.zk-address</name>
		<value>hadoop2:2181,hadoop3:2181,hadoop4:2181</value>
	</property>
	<property>
		<name>yarn.resourcemanager.recovery.enabled</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.resourcemanager.store.class</name>
		<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
	</property>
</configuration>

3.将配置好的文件拷贝到其他节点

scp -r /opt/soft/hadoop260/etc/hadoop root@hadoop3:$pwd
scp -r /opt/soft/hadoop260/etc/hadoop root@hadoop4:$pwd

4.启动HDFS-HA集群
1）在各个JournalNode启动journalnode

sbin/hadoop-daemon.sh start journalnode

2）在hadoop2(nn1)上，进行格式化

bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode

3）在hadoop3(nn2)上，同步nn1的元数据信息

bin/hdfs namenode -bootstrapStandby

4）启动hadoop3

sbin/hadoop-daemon.sh start namenode

5）此时网页ip:50070显示状态为standby
6）在hadoop2上启动所有datanode

sbin/hadoop-daemons.sh start datanode

7）改变hadoop2状态为Active

bin/hdfs haadmin -transitionToActive nn1

问题：报错：

Automatic failover is enabled for NameNode at hadoop3/192.168.56.171:9000
Refusing to manually manage HA state, since it may cause
a split-brain scenario or other incorrect state.
If you are very sure you know what you are doing, please 
specify the forcemanual flag.

强制更改状态

bin/hdfs haadmin  -transitionToActive  --forceactive --forcemanual   nn1

5.自动故障转移
1）关闭所有HDFS服务

sbin/stop-dfs.sh

2）启动zookeeper集群

bin/zkServer.sh start

3）初始化HA在zookeeper中状态

bin/hdfs zkfc -formatZK

4）启动HDFS服务

sbin/start-dfs.sh

5）在各个namenode（hadoop2和hadoop3）上启动DFSZK Failover Controller，先在哪台机器启动，哪台就是Active NameNode

sbin/hadoop-daemon.sh start zkfc

6）验证

kill -9 namenode的id

7）查看hadoop2和hadoop3的状态

一台宕机，另一台就会变成active

遇到的问题
datanode启动查看进程jps里没有

解决方法1：
/opt/soft/hadoop260/data/tmp/dfs
删除文件
rm -rf data
格式化文件具体操作见上面
重新启动datanode
解决方法2：（三个节点）
/opt/soft/hadoop260/data/tmp/dfs/name/current
vi  VERSION
把集群名称clusterid替换
/opt/soft/hadoop260/data/tmp/dfs/data/current里的clusterid

kill了active的节点，另一个namenode节点的状态不会自动变

解决方法1:
yum install psmisc（每个namenode节点都要安装）
解决方法2：
<property>
        <name>dfs.ha.fencing.methods</name>
        <value>shell(/bin/true)</value>
</property>

6.配置YARN-HA集群
1）在hadoop3执行yarn(我的yarn在hadoop3上的，自己的看自己的配置)

sbin/start-yarn.sh

2）在hadoop2执行
sbin/yarn-daemon.sh start resourcemanager
3）查看服务状态
bin/yarn rmadmin -getServiceState rm1
jps查看进程
有两个resourcemanager(每个namenode)