史上最全cdh安装详细教程

此篇文章主要介绍了CDH在centos 6.x下的安装,在centos 7 版本中的安装以后会推出.

这篇文档将着重介绍Cloudera管理器域CDH的安装,并基于以下假设:

>>操作系统版本: centos 6.8

>>MySQL数据库版本: 5.6.24

>>CM版本: CM  5.12.1

>>CDH版本: CDH 5.12.1

>>采用root对集群进行部署

 

1、准备工作:

   0)新建centos 6.x虚拟机,然后克隆3台(需要完整克隆,具体如何克隆,自行百度,这里不做过多说明)

       以3台克隆机器中的其中一台为例,进行网络的配置

       1> vi /etc/udev/rules.d/70-persistent-net.rules 

            敲dd将含有eth0的一行删除,并使用shift+$跳到文章末尾,将eth1改为eth0

       2> 并复制ATTR中的引号中的内容

       3> 保存退出后,vi /etc/sysconfig/network-scripts/ifcfg-eth0,将刚刚复制的内容粘贴到此文件下的HWADDR(先把之前的删除),并且

史上最全cdh安装详细教程_第1张图片

按照图中的内容进行添加或者修改,ONBOOT=yes,表示开机自启动,需要改为yes,BOOTPROTO这个主要是网络配置模式的修改,如果新安装的虚拟机默认是dhcp,表示动态获取ip,这对于后面配置集群是非常麻烦的,所以我们需要将其修改为static或者none都是表示配置静态ip模式,并且添加IPADDR,这个我们可以自己配置ip地址.

 

然后使用service network restart 重启下网络,然后使用ifconfig或者ip a 查看ip是否修改成功.如果出现下图错误,那么使用reboot重启虚拟机,便可解决此问题

 

另外两台克隆的虚拟机按照以上操作做一次.

   1)关闭防火墙(3台克隆机同时操作)
         临时关闭:

               service iptables stop

        永久关闭:

               chkconfig iptables off

   1.5)关闭Selinux

         临时关闭

               setenforce 0

         修改配置文件/etc/selinux/config(重启生效)

              将SELINUX=enforcing 改为SELINUX=disabled

                 sed -i 's#enforcing#disabled#g' /etc/selinux/config 

 

   2)设置主机名(每台克隆机,设置不通的主机名)

              vi /etc/sysconfig/network    根据自己的配置修改hostname,这个需要重启虚拟机才会生效

           

   3)配置DNS(3台克隆机同时操作)

             vi /etc/resolv.conf  添加:nameserver 8.8.8.8 或者nameserver 网关地址 

            然后ping baidu.com  看是否有回应

           
 

如果在这个地方,出现了宿主机ping不通虚拟机,或者虚拟机ping不通宿主机,请自行百度吧,这里我也不想做过多描述.如果实在有问题加最下面的qq群寻求答案吧.

   4)配置host文件(3台克隆机同时操作)

          vi /etc/hosts   根据自己的ip 进行相应配置

         史上最全cdh安装详细教程_第2张图片

  配置完之后,可以在同一台机器上ping 不同的域名,查看是否有响应.

史上最全cdh安装详细教程_第3张图片

表明配置成功

 

为了以后,我们使用谷歌或者其他浏览器访问域名也可以,那么我们需要对windows中的hosts文件进行配置

打开C:\Windows\System32\drivers\etc下的hosts文件,进行相应的配置

  

  5)更新yum源(使用阿里云镜像源)

    第一步:备份你的原镜像文件,以免出错后可以恢复

       mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

   第二步:下载新的CentOS-Base.repo 到/etc/yum.repos.d/

      wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo

   第三步:清空yum缓存

        yum clean all

    第四步:生成缓存

         yum makecache  

 

   6) 安装JDK(3台克隆机同时操作)

       1>卸载现有JDK

         查询是否安装Java软件:

               rpm -qa | grep java

        如果安装的版本低于1.7,卸载该JDK:

                rpm -e 软件包

         查看JDK安装路径:

               which java

      2>创建两个目录,主要是存放tar包

            mkdir /opt/module

            mkdir /opt/software

      3> 将jdk-8u144-linux-x64.tar.gz上传至/opt/software,关于上传有两种方法,一种是使用yum install lrzsz -y或者windows下载WinSCP软件,之前做过测试,WinSCP上传下载的速度大约是rzsz的十倍左右.各有利弊,如果使用rzsz,可以直接将上传的资料直接拖到远程连接工具就可以,非常方便,下载的话直接使用   sz 需要下载的文件   就可以了 

       4>解压JDK

            tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

       5> 配置JDK环境变量     

           (1)先获取JDK路径

                  #  pwd

                     /opt/module/jdk1.8.0_144

           (2)打开/etc/profile文件

                     vi /etc/profile   在profile文件末尾添加JDK路径

                      #JAVA_HOME

                      export JAVA_HOME=/opt/module/jdk1.8.0_144

                      export PATH=$PATH:$JAVA_HOME/bin

            (3)保存后退出

                   :wq

             (4)让修改后的文件生效

                        source /etc/profile

            6> 测试JDK是否安装成功

                   java -version

        

出现上图所示,则表示JDK配置成功

 

    7)配置免密登陆 (只在CDH101上操作)

        cd ~

       1>生成公钥和私钥

            ssh-keygen -t rsa  一路回车就好

        2> 将公钥拷贝到要免密登录的目标机器上

            ssh-copy-id  CDH101

            ssh-copy-id  CDH102

            ssh-copy-id  CDH103

 

       8)在CDH101上安装mysql,配置相应的用户权限(也可以使用yum安装mysql)

              1>查看mysql是否安装,如果安装了,卸载mysql

                       rpm -qa|grep mysql

                       rpm -e --nodeps  xx

              2>安装mysql服务端

                      rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm

               3>查看产生的随机密码

                    cat /root/.mysql_secret   找个位置复制,为下面修改mysql密码做准备

              4>查看mysql状态并启动mysql

                    service mysql status

                    service mysql start

               5>安装mysql客户端

                   rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm

                6>链接mysql,并修改密码

                       mysql -uroot -ptxj5IaUyV2Pw1tI5

                       SET PASSWORD=PASSWORD('000000');

                 7)退出mysql,使用修改后的密码重新登录mysql,并做相关操作

                     登录mysql  

                         mysql -uroot -p000000

                      使用mysql数据库

                         use mysql;
                   查询user表

                        select User,Host,Password from user;

                  史上最全cdh安装详细教程_第4张图片

                  修改user表,把Host表内容修改为%

                         update user set host='%' where host='localhost';

                   删除root用户的其他host

                      史上最全cdh安装详细教程_第5张图片

                   刷新权限并退出

                      

 

         9)下载第三方依赖

              yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

        如果不下载这些依赖,使用cdh安装的时候会报各种各样的错误.

 

       10) 时钟同步(必须root用户)

          (1)检查ntp是否安装

                  [root@hadoop102 桌面]# rpm -qa|grep ntp

                   ntp-4.2.6p5-10.el6.centos.x86_64

                  fontpackages-filesystem-1.41-1.1.el6.noarch

                  ntpdate-4.2.6p5-10.el6.centos.x86_64

            (2)修改ntp配置文件

                 [root@hadoop102 桌面]# vi /etc/ntp.conf

                 修改内容如下

                  a)修改1(授权192.168.1.0网段上的所有机器可以从这台机器上查询和同步时间)

                          #restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap为

                          restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap

                            ip地址根据自己的网段进行配置

                b)修改2(集群在局域网中,不使用其他的网络时间)

                     server 0.centos.pool.ntp.org iburst

                     server 1.centos.pool.ntp.org iburst

                     server 2.centos.pool.ntp.org iburst

                     server 3.centos.pool.ntp.org iburst为

                    #server 0.centos.pool.ntp.org iburst

                   #server 1.centos.pool.ntp.org iburst

                   #server 2.centos.pool.ntp.org iburst

                   #server 3.centos.pool.ntp.org iburst

               c)添加3当该节点丢失网络连接,依然可以作为时间服务器为集群中的其他节点提供时间同步

                    server 127.127.1.0

                    fudge 127.127.1.0 stratum 10

         (3)修改/etc/sysconfig/ntpd 文件

             [root@hadoop102 桌面]# vim /etc/sysconfig/ntpd

            增加内容如下(让硬件时间与系统时间一起同步)

             SYNC_HWCLOCK=yes

         (4)重新启动ntpd

             [root@hadoop102 桌面]# service ntpd status

              ntpd 已停

            [root@hadoop102 桌面]# service ntpd start

            正在启动 ntpd:                                            [确定]

          (5)设置ntpd服务开机启动:

                 [root@hadoop102 桌面]# chkconfig ntpd on

            2.    其他机器配置(必须root用户)

             (1)在其他机器配置10分钟与时间服务器同步一次

                [root@hadoop103桌面]# crontab -e

                  编写定时任务如下:

                      */10 * * * * /usr/sbin/ntpdate hadoop102

               (2)修改任意机器时间

               [root@hadoop103桌面]# date -s "2017-9-11 11:11:11"

             (3)十分钟后查看机器是否与时间服务器同步

           [root@hadoop103桌面]# date

        说明:测试的时候可以将10分钟调整为1分钟,节省时间。

          

2、CM安装部署

    CM下载地址:http://archive.cloudera.com/cm5/cm/5/

    离线库下载地址:http://archive.cloudera.com/cdh5/parcels

 

    2.1)上传cloudera-manager-el6-cm5.12.1_x86_64.tar.gz到/opt/software并解压

        创建/opt/module/cloudera-manager目录

           mkdir /opt/module/cloudera-manager

           tar -zxvf /opt/software/cloudera-manager-el6-cm5.12.1_x86_64.tar.gz -C /opt/module/cloudera-manager/

     2.2)创建用户cloudera-scm(所有节点

            useradd --system --home=/opt/module/cloudera-manager/cm-5.12.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

         --system 创建一个系统账户

         --home 指定用户登入时的主目录,替换系统默认值/home/<用户名>

         --no-create-home 不要创建用户的主目录

         --shell 用户的登录 shell 名

         --comment 用户的描述信息

        注意:

         Cloudera Manager默认用户为cloudera-scm,创建具有此名称的用户是最简单的方法。 安装完成后,将自动使用此用户。

    2.3)配置CM Agent

         修改文件/opt/module/cloudera-manage/cm-5.12.1/etc/cloudera-scm-agent/ config.ini

       vim /opt/module/cloudera-manage/cm-5.12.1/etc/cloudera-scm-agent/config.ini

           server_host=CDH101

   2.4)配置CM的数据库

     1>拷贝mysql jar文件到目录 /usr/share/java/

          mkdir /usr/share/java/

          cp /opt/software/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /usr/share/java

          mv mysql-connector-java-5.1.27-bin.jar mysql-connector-java.jar

          • 注意jar包名称要修改为mysql-connector-java.jar

     2>在mysql中创建cm库

        /opt/module/cloudera-manager/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hCDH101 -uroot -p000000 --scm-host CDH101 scm scm scm

注解:     

       -u:Database username

       -p:Database Password

     mysql:数据库用的是mysql,如果安装过程中用的oracle,那么该参数就应该改为oracle。

    cm:表示在mysql数据库中创建cm database   

    -h:Database host 表示安装数据库的主机名 (我是在在CDH101上安装的MySQL数据库,所以我指定了CDH101)

    --scm-host CDH101 :CMS的主机,一般是和mysql安装的主机是在同一个主机上。

   最后三个参数是:数据库名,数据库用户名,数据库密码。

执行完创建cm库的命令后,只有当看到All done, your SCM database is configured correctly!这句话时,表明命令操作是成功的.在执行这行命令后,会遇到很多问题,最常见到的是用户权限问题,这个自行百度吧,或者查看我的另一篇博客:安装CDH过程中所遇到的问题整理 

  2.5)分发cloudera-manage(在CDH101上执行命令,时间会稍长)

           scp -r /opt/module/cloudera-manager/ CDH102:/opt/module/

           scp -r /opt/module/cloudera-manager/ CDH103:/opt/module/

  2.6)创建Parcel-repo 目录

       1> Servre 节点创建目录/opt/cloudera/parcel-repo(server节点就是CDH101节点)

              创建Cloudera Manager默认存放离线库的地址

                  mkdir -p /opt/cloudera/parcel-repo

              并赋予parcel-repo所有者权限

                  chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/

       2> 拷贝下载文件到/opt/cloudera/parcel-repo

             [root@CDH101 software]# cp CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel manifest.json /opt/cloudera/parcel-repo/

             [root@CDH101 software]# mv CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha
             [root@CDH101 software]# cp CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha /opt/cloudera/parcel-repo/

       3> 在Agent 节点(CDH102,CDH103,CDH104)创建目录/opt/cloudera/parcels

             mkdir -p /opt/cloudera/parcels

             chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

   2.7)分发Parcel-repo

            scp -r /opt/cloudera/ CDH102:/opt/

            scp -r /opt/cloudera/ CDH103:/opt/

   注意:

       当scp之后,需要查看CDH102和CDH103上的parcel-repo的所属主是不是cloudera-scm,如果不是,则使用chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/进行修改

    2.8)启动和关闭CM Server&Agent 服务

     服务节点:CDH101

           [root@CDH101 cloudera]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-server start

           Starting cloudera-scm-server:                              [确定]

     工作节点:CDH101\CDH102\CDH103

        /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start    (三个节点同时执行)

注意:启动过程非常慢,Manager 启动成功需要等待一段时间,过程中会在数据库中创建对应的表需要耗费一些时间。

一段时间过后,可以使用下列命令查看7180端口是否已经启动:  netstat -anp | grep 7180   如果查看被占用则表示安装成功了!!!

[root@CDH101 init.d]# netstat -anp | grep 7180

tcp        0      0 0.0.0.0:7180                0.0.0.0:*                   LISTEN      5498/java

   2.9)访问

      访问http://CDH101:7180,(用户名、密码:admin

 这个地方注意,需要在windows的hosts文件中配置ip地址和域名   

史上最全cdh安装详细教程_第6张图片

 

关闭服务:

服务节点:CDH101

[root@CDH101 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-server stop

停止 cloudera-scm-server:                                 [确定]

工作节点:CDH101\CDH102\CDH103

[root@CDH101 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent stop

Stopping cloudera-scm-agent:                               [确定]

 

3、Cloudera Manager界面操作

  用户和密码都是admin,

史上最全cdh安装详细教程_第7张图片

史上最全cdh安装详细教程_第8张图片

史上最全cdh安装详细教程_第9张图片

史上最全cdh安装详细教程_第10张图片史上最全cdh安装详细教程_第11张图片史上最全cdh安装详细教程_第12张图片史上最全cdh安装详细教程_第13张图片史上最全cdh安装详细教程_第14张图片

具体解决方案见上面的准备操作中的时钟同步操作。

版本汇总如下:

史上最全cdh安装详细教程_第15张图片

史上最全cdh安装详细教程_第16张图片

史上最全cdh安装详细教程_第17张图片

史上最全cdh安装详细教程_第18张图片

自定义服务中,我们先只选择HDFS,hive和yarn三个组件

史上最全cdh安装详细教程_第19张图片

继续下一步开始进行数据库的配置

史上最全cdh安装详细教程_第20张图片

史上最全cdh安装详细教程_第21张图片

接下来开始安装,直到显示集群安装成功.

史上最全cdh安装详细教程_第22张图片

安装成功后进入home管理界面

史上最全cdh安装详细教程_第23张图片

 

至此,CDH集群已经全部安装完毕

--------------------------------------------------------------------------------------------------------------------------------------------------------------------

      用人品去感动别人,用改变去影响别人,用状态去燃烧别人,用行动去带动别人,用阳光去照耀别人,用坚持去赢得别人,要求自己每天都去做与目标有关的事情,哪怕每天只进步一点点,坚持下来你就是最优秀卓越的!欢迎大家加入大数据交流群:725967421     一起交流,一起进步!!

---------------------------------------------------------------------------------------------------------------------------------------------------------------------

 

你可能感兴趣的:(hadoop篇,CDH篇)