大数据平台搭建（二）：hadoop HA 集群搭建

前言

     本章搭建zookeeper集群和hadoop集群

1.hadoop版本的选择

    1.目前而言，不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）、Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）、Hortonworks版本(Hortonworks Data Platform，简称“HDP”），对于国内而言，绝大多数选择CDH版本。

    2.上一段摘自网络，由于CDH用的比较多，所以我决定用CDH来搭建集群，但是我不想通过CM来安装，而是使用CDH tar包安装方式来搭建。

    3.不用Apache版本原因是：CDH 提供的jar包比较稳定且不用自己去搭配版本(更多原因请看区别)。

    4.不用CM安装CDH的方式原因是：太方便太傻瓜，我自己不放心，所以最终决定使用CDH5 tar包安装。

2. CDH和Apache原始版的区别

     1. CDH对Hadoop版本的划分非常清晰，比如，cdh3、cdh4和cdh5，相比而言，Apache版本则混乱得多；比Apache hadoop在兼容性，安全性，稳定性上有增强。

     2.CDH总是并应用了最新Bug修复或者Feature的Patch，并比Apache hadoop同功能版本提早发布，更新速度比Apache官方快。

     3.安全 CDH支持Kerberos安全认证，apache hadoop则使用简陋的用户名匹配认证

     4.)CDH文档清晰，很多采用Apache版本的用户都会阅读CDH提供的文档，包括安装文档、升级文档等。

     5.)CDH支持Yum/Apt包，Tar包（本次使用方式），RPM包，Cloudera Manager四种方式安装,Apache hadoop只支持Tar包安装。

3.CDH版本选择

hadoop生态选用CDH5.9.3
jdk-8u161-linux-x64.tar.gz
zookeeper-3.4.5-cdh5.9.3.tar.gz
hadoop-2.6.0-cdh5.9.3.tar.gz
hive-1.1.0-cdh5.9.3.tar.gz
sqoop2-1.99.5-cdh5.9.3.tar.gz
hbase-1.2.0-cdh5.9.3.tar.gz
。。。请认准cdh5.9.3去官方下载：http://archive.cloudera.com/cdh5/cdh/5/

4.集群规划

主机名称	IP	安装软件	运行的进程
hadoop201	192.168.8.201	jdk，hadoop	NameNode、 JournalNode 、DFSZKFailoverController(zkfc)、 ResourceManager
hadoop202	192.168.8.202	jdk，hadoop	NameNode、 JournalNode 、DFSZKFailoverController(zkfc)、 ResourceManager
hadoop203	192.168.8.203	jdk，hadoop，zk	DataNode、NodeManager、QuorumPeerMain
hadoop204	192.168.8.204	jdk，hadoop，zk	DataNode、NodeManager、QuorumPeerMain
hadoop205	192.168.8.205	jdk，hadoop， zk	DataNode、NodeManager、QuorumPeerMain

  DFSZKFailoverController：监控管理NameNode，必须跟NameNode在一起

  JournalNode： 存储NameNode的状态等信息，包括edits文件等

  QuorumPeerMain： zk进程，为什么用zookeeper？主要是利用zookeeper的选举机制、故障自动转移、心跳监测等保障高可靠

5.HDFS HA示例图

   参考官方文档，使用QJM的HA方案来安装：

6.zookeeper集群搭建

    1.203上安装，解压zk包，找到zoo.cfg，一般有个sample配置文件，改下名字即可。

    

    2.vim zoo.cfg，主要修改数据目录和3个集群节点的通信选举端口

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
#数据文件目录
dataDir=/home/hadoop/zookeeper/data
#日志目录
#dataLogDir=/home/hadoop/zookeeper/zkdatalog
# the port at which the clients will connect
clientPort=2181
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
#server.服务编号=主机名称：Zookeeper不同节点之间同步和通信的端口：选举端口
server.3=hadoop203:2888:3888
server.4=hadoop204:2888:3888
server.5=hadoop205:2888:3888

    3.将配置好的zookeeper文件夹scp到204 205上

    4.三个节点分别cd到数据目录/home/hadoop/zookeeper/data下，创建myid文件，输入各自编号3,4,5 ，要跟zoo.cfg中配置的编号一致。

    5.启动zk,/home/hadoop/zookeeper/sbin/zkServer.sh start

     6.验证，jps zk进程QuorumPeerMain已启动。zkServer.sh status，一个leader，两个follower，即搭建成功。如果不放心，可以杀掉一个zk，然后看角色变化。

7.hadoop集群搭建

    1.下载安装notepad++插件NPPFTP，为了修改配置文件方便,文件可以直接在notepad中打开修改

    2.下载解压hadoop对应cdh版本5.9.3，在201上安装 ，并设置环境变量

    3.配置hdfs，共4个，参考官方文档

     hadoop-env.sh，主要是配置jdk

    

     core-site.xml

    "1.0" encoding="UTF-8"?>
"text/xsl" href="configuration.xsl"?>





    
    
      fs.defaultFS
      hdfs://mycluster
    
    
      
        hadoop.tmp.dir  
        /home/hadoop/hadoop/tmp  
    
    
    
      dfs.journalnode.edits.dir
      /home/hadoop/journalnodeTmp
    
    
    
       ha.zookeeper.quorum
       hadoop203:2181,hadoop204:2181,hadoop205:2181
     

     hdfs-site.xml

"1.0" encoding="UTF-8"?>
"text/xsl" href="configuration.xsl"?>






    
      dfs.nameservices
      mycluster
    
    
    
      dfs.ha.namenodes.mycluster
      nn1,nn2
    
    
    
      dfs.namenode.rpc-address.mycluster.nn1
      hadoop201:9000
    
    
      dfs.namenode.rpc-address.mycluster.nn2
      hadoop202:9000
    
    
    
      dfs.namenode.http-address.mycluster.nn1
      hadoop201:50070
    
    
      dfs.namenode.http-address.mycluster.nn2
      hadoop202:50070
    
    
    
      dfs.namenode.shared.edits.dir
      qjournal://hadoop201:8485;hadoop202:8485/mycluster
    
    
      dfs.journalnode.edits.dir
      /home/hadoop/hadoop/journal
    
    
    
      dfs.client.failover.proxy.provider.mycluster
      org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
    
    
    
      dfs.ha.fencing.methods
      
            sshfence
            shell(/bin/true)
      
    
    
    
      dfs.ha.fencing.ssh.private-key-files
      /home/hadoop/.ssh/id_rsa
    
    
    
      dfs.ha.fencing.ssh.connect-timeout
      30000
    
    
    
       dfs.ha.automatic-failover.enabled
       true
     

     slaves

    

    4.配置yarn，共2个，参考官方文档

     mapred-site.xml

"1.0"?>
"text/xsl" href="configuration.xsl"?>





    
    
        mapreduce.framework.name
        yarn
    

     yarn-site.xml

"1.0"?>


    
    
        yarn.resourcemanager.ha.enabled
        true
     
     
       
        yarn.resourcemanager.ha.automatic-failover.enabled  
        true  
      
       
           yarn.resourcemanager.recovery.enabled  
          true  
     
     
     
        yarn.resourcemanager.cluster-id
        cluster1
     
     
        yarn.resourcemanager.ha.rm-ids
        rm1,rm2
     
      
     
        yarn.resourcemanager.hostname.rm1
        hadoop201
     
     
        yarn.resourcemanager.hostname.rm2
        hadoop202
     
     
       
           yarn.resourcemanager.address.rm1  
          hadoop201:8032  
        
          
       
          yarn.resourcemanager.scheduler.address.rm1  
          hadoop201:8034  
       
         
       
          yarn.resourcemanager.webapp.address.rm1  
          hadoop201:8088  
     
    
       
           yarn.resourcemanager.address.rm2  
          hadoop202:8032  
        
          
       
          yarn.resourcemanager.scheduler.address.rm2  
          hadoop202:8034  
       
         
       
          yarn.resourcemanager.webapp.address.rm2  
          hadoop202:8088  
       
      
     
        yarn.resourcemanager.zk-address
        hadoop203:2181,hadoop204:2181,hadoop205:2181
     
       
          yarn.resourcemanager.zk.state-store.address  
           hadoop203:2181,hadoop204:2181,hadoop205:2181  
      
      
       
           yarn.nodemanager.aux-services  
          mapreduce_shuffle  
       
       
           yarn.nodemanager.aux-services.mapreduce_shuffle.class  
          org.apache.hadoop.mapred.ShuffleHandler  
     

更多配置属性，请参考*-default.xml默认配置文件。
至此，集群的配置工作基本完成，下面就要完成集群的初始化、启动和关闭了。

---

8.hadoop集群初始化

    1.启动zk，在203 204 205上执行

    2.启动journalNode，在201 202节点上执行hadoop-daemon.sh start journalnode

    3.格式化hdfs，在201上执行命令: hdfs namenode -format

    4.格式化高可用，在201上执行: hdfs zkfc -formatZK，查看zk根目录下，多了个ha的目录：

    5.同步NameNode的元数据信息

     201执行： hdfs namenode

     202节点执行： hdfs namenode -bootstrapStandby，同步完成后，ctrl+c结束掉201的进程

    6.启动hdfs，在201上执行，sbin/start-dfs.sh

    7.启动yarn，

     在201上执行，sbin/start-yarn.sh

     在202上执行：sbin/yarn-daemon.sh start resourcemanager （单独启动rm进程）

    8.各节点进程展示

    9.测试hdfs HA，kill掉一个namenode进程，然后通过http://hadoop201:50070/，http://hadoop202:50070/查看201和202节点的状态转换，不再演示。

    10.测试hdfs和yarn

     本地创建：vim a.txt

      上传到hdfs：

      hdfs dfs -mkdir /test

      hdfs dfs -put a.txt /test

      hdfs dfs -ls /test/

    测试yarn：查看rs状态：bin/yarn rmadmin -getServiceState rm1

    

    运行mr，测试workcount示例：

     hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.9.3.jar wordcount /test/a.txt /test/out/

     统计信息如下

9.集群启动顺序

    1.启动zk，203 204 205bin目录下 ./zkServer.sh start

    2.启动hdfs，201 sbin/start-dfs.sh

    3.启动yarn，

     201： sbin/start-yarn.sh

     202： sbin/yarn-daemon.sh start resourcemanager

10.集群关闭顺序

    1.关闭yarn

     201执行 sbin/stop-yarn.sh

     202执行 sbin/yarn-daemon.sh stop resourcemanager

    2.关闭hdfs，201执行 sbin/stop-dfs.sh

    3.关闭zookeeper，203 204 205执行./zkServer.sh stop

11.观察dfs启动和关闭顺序：

12.搭建过程中遇到的问题

    1.Linux用户权限问题，用root用户搭建不存在这问题

      chown -R hadoop zookeeper/ 递归更改文件夹的所属用户

      chgrp -R hadoop zookeeper/ 递归更改文件夹的所属组

    2.hdfs格式化会报connected refused

      原因：namenode节点没有启动journalnode进程

      解决：namenode节点 优先启动journalnode再进行格式化

    3.201启动dfs，202节点的namenode没有启动起来，日志报connected refused

      原因：202的core-site.xml 没有指定hadoop临时文件目录，这个需要跟201指定目录一致

       解决：把所有节点的core-site.xml中指定同样的目录，删除tmp文件夹，重新格式化

---

总结：

     本文主要讲了zookeeper集群和hadoop集群的搭建，其实看下来主要工作在配置文件，其他的都比较简单。下一章节将继续扩展。

大数据平台搭建（三）：hive 介绍和安装配置