CM&CDH安装

笔者当时自己装CM&CDH看了不下10篇博客，重装集群不下3次，后来快照这个功能深深的刻在了我的心里。这篇博客笔者呕心沥血啊。。。不过还是会有同学会挂掉，所以希望大家做到那里一步记得快照。。。。
发一下牢骚。。。

CM&CDH安装需要的准备事项：

1、Cloudera Manager安装包（rpm包）
2、CDH的安装包
3、集群
就这三个，有的博客还介绍到要用到mysql的数据源，其实没有也没有关系，因为我们有CM的rpm的安装包，所以很多步骤我们直接图形化。我们就直接来。

1、Cloudera Manager安装包（rpm包）

其中，bin文件下载地址:
http://archive.cloudera.com/cm5/installer/

rpm包下载地址：
http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/

使用迅雷下载带有目录结构的rpm包：

注意：下载的cloudera manager对应的rpm包需要保持目录结构，可以使用迅雷进行下载。

2、CDH安装包的下载

下载地址：
http://archive.cloudera.com/cdh5/parcels/

提示：CentOS6.4/6.5 选择el6版本，并且需要下载三个内容

3、集群的配置

1、修改hosts

    命令：vi /etc/hosts

2、修改主机名

永久修改主机名

编辑/etc/sysconfig/network 修改HOSTNAME的值。

注意：CDH安装完成后修改ip会导致集群不能使用，所以请慎重ip的配置。

3、关闭防火墙

查看状态：service iptables status
临时关闭：service iptables stop
查看防火墙启动级别：chkconfig iptables --list
永久关闭：chkconfig iptables off

注意：在安装时需要随时记住防火墙关闭情况。

4、关闭selinux

命令：vi /etc/sysconfig/selinux
注释掉SELINUX=enforcing
添加SELINUX=disabled
查看状态：/usr/sbin/sestatus -v

注意：需要重启生效

5、免key登录

提示：免key登录不属于必须操作，建议不要在root用户上用免key操作
本机需要远程登录到其他主机的用户上执行如下命令：

生成公钥和私钥：
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
复制公钥到免key主机：
ssh-copy-id 指定主机地址ip    (如果有需要，自己也要和自己免key)

6、启动http服务

查看服务状态：service httpd status
打开服务：service httpd start

提示：如果提示找不到http服务时，需要进行安装，安装可以选用yum方式，命令如下：yum install httpdq

7、时间同步

手动设置

查看服务器时间：date
设置时间：date -s "2016-01-04 17:07:30" （可以单独设置日期或者时间）

NTP同步

    命令：ntpdate asia.pool.ntp.org    （定时同步请看时钟同步部分）

3、CM的安装

1、上传介质

上传安装介质到其中一台服务器上作为yum源的本地下载地址（可以使用SecureFX，具体可以参照VMware安装CentOS6.4和使用文档）。
上传目录为/var/www/html。
可以上传已经提供好的三个文件：

cloudera-manager-installer5.5.1.bin
cm5.5.1.tar.gz
cdh5.5.1.tar.gz
解压：
tar -zxvf cm5.5.1.tar.gz
tar -zxvf cdh5.5.1.tar.gz

2、配置本地yum源

进入 /etc/yum.repos.d目录，使用vi创建cloudera-manager.repo文件，内容如下：

[cloudera-manager]
name=Cloudera Manager, Version 5.5.1
baseurl=http://IP地址/cm5.5.1  （都指定已经上传安装包的那一台机器即可）
gpgcheck=0

注意：每台需要安装CDH的机器都需要配置该repo文件。在编辑文件内容时，最好不要在window系统下编辑好上传，直接在linux上编辑或者手动输入编辑为好。

3、验证本地yum源

将上一步baseurl地址粘贴到浏览器确认是否能正常访问到已经上传安装文件的机器的安装文件目录（注意开启httpd服务）。
按照以上步骤操作，出现如下界面即说明能够正常访问本地yum源。

4、赋予bin文件执行权限

命令：chmod u+x cloudera-manager-installer5.5.1.bin

执行bin文件
进入/var/www/html/目录，执行如下命令

./cloudera-manager-installer5.5.1.bin

都选择Next或者是Yes即可

安装成功后，出现如下界面，点击ok即可访问7180 cm页面。

此时，cm的主节点监控服务安装成功，名称为cloudera-scm-server
可以使用如下命令
查看服务状态:

service cloudera-scm-server status

进入7180管理界面，用户名和密码都为admin

注意：请稍等几分钟在尝试进入7180界面，如果还是无法进入，请检查防火墙是否处于关闭状态。在访问时建议使用非IE浏览器，比如chrome、火狐等浏览器。

4、CDH的安装

1、接受许可

2、选择相应的版本

3、搜索主机，也可以自己输ip

4、指定安装源

到指定安装本地安装源目录
删除其他的远程yum源，填写本地cdh源，点击确定。

注意：只需要保证通过页面是否能正常访问到cdh5.5.1目录所在地址即可

稍等大概2秒钟之后，页面会自动刷新出本地cdh源版本。
还需要再次填写cm安装文件所在目录（用于安装cloudera-scm-agent服务）
注意：此步不急于点继续，先检查一下每台服务器的repo文件都是否正常配置。其次，如果服务器的/etc/yum.repos.d目录下多出诸如下图的文件，将其删除，再回到页面，点击继续。

如果如下图时，找出自己被重命名的文件后重命名回原来状态，再将另外一种一个删除。

提示：以后安装过程中，如果出现错误，记得再次检查该目录是否有新的文件产生，将其删除。

5、勾选JDK

安装自带版本JDK
注意：如果此处不勾选，请保证服务器上的JDK版本为1.6或者1.7，并且处于可用状态，其他版本不行。

6、填写用户密码

此处可以使用root用户进行安装，也可以使用普通用户进行安装， 但是如果采用普通用户进行安装，请保证该普通用户具有sudo权限。

7、开始安装

开始安装，此处可能时间较长，如果出现错误，点击右边的详细信息进行错误定位。

8、安装完成

注意：此处安装完成的为CM的从节点服务cloudera-scm-agent，此时cloudera-scm-agent在服务器上已经正常启动，但是此时CDH文件还没有开始安装。

开始安装CDH，分配CDH，激活CDH

9、检查主机

需要配置的参数如下:

• 减少对swap分区写数据，方便快速切换程序
  临时生效
  echo 0 > /proc/sys/vm/swappiness
  永久生效
  sysctl -w vm.swappiness=0 （to make this persistentacross reboots）

• 降低hadoop集群对cpu的占用

  echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag（本次有效，重启后失效）
  echo never>/sys/kernel/mm/redhat_transparent_hugepage/enabled
  除了手动修改运行时参数之外，还可以修改 /etc/grub.conf 里内核的启动参数，追加“transparent_hugepage=never”（此选项只对/sys/kernel/mm/redhat_transparent_hugepage/enabled 有效）。

提示：如果暂时不方便重启机器，可以设置本次临时生效，如果需要长期生效，需要做长期生效配置。重启后失效的参数可以添加到系统启动项中：编辑/etc/rc.local，将需要重启时的操作加入其中。

• 设置开机生效的具体方法如下：
  命令：vi /etc/rc.local
  添加如下内容：

if test -f /sys/kernel/mm/redhat_transparent_hugepage/enabled; then
   echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
fi
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

10、重新检查

11、自定义添加服务

添加服务时，可以选择对应的模板进行添加，也可以选择自定义服务添加。对于机器台数较少或者机器配置较低时，尽量选择自定义服务添加。

在最新的CDH版本中，zookeeper已经不是必须安装组件，但是为使得集群的功能齐全（不安装会无法使用同步配置操作），所以强烈建议安装。

12、安装角色

选择角色安装的主机

13、数据库选择

提示：选择数据库时，建议使用默认数据库。以后可以进行修改。
点击测试连接

14、指定数据目录

数据目录和检查点目录建议选择最大目录挂载点，多块盘使用“+”添加，其他参数默认。

开始集群部署
执行成功，继续、完成

5、排错

1、完成以上，说明集群已经安装成功，其他问题需要在后续过程调试。页面显示红色不等于服务没有安装成功，验证参数没有满足默认而已。

如出现以下情形

• 点击有问题组件，根据具体问题，查看相应日志进行排查。
  通常虚拟机安装的cdh会出现如下错误，将日志目录空间检测减小即可。
  

2、关闭时钟同步

其他错误验证排查完成之后，还有会如下时钟同步的验证，关闭即可

如果机器台数较少情况下，建议关闭cm的集群同步机制，手动配置服务器时间。
主机 >> 配置 >> 搜索“时钟偏差”

3、配置主机时钟同步

• 服务器定时NTP同步
  写脚本脚本ntp.sh内容如下：
  #!/bin/bash
  ntpdate asia.pool.ntp.org （网络ntp服务器）

也可以用其他地址，如：
210.72.145.44 (国家授时中心服务器IP地址)
s1a.time.edu.cn 北京邮电大学
s1b.time.edu.cn 清华大学
s1c.time.edu.cn 北京大学
s1d.time.edu.cn 东南大学
s1e.time.edu.cn 清华大学
s2c.time.edu.cn 北京邮电大学

配置crontab定时

1 * * * * sh -xb /root/ntp/ntp.sh 2>&1 >> /root/ntp/ntp.log

4、验证安装

注意：如果以上步骤一切顺利，即可开始正常使用CDH，页面添加了什么组件，并且处于正常启动状态，就可以到服务器上使用，环境变量已经随安装过程自动配置好，直接执行命令即可。

安装完成后，通过上面一系列步骤的配置之后主页如下

• 验证HDFS功能
  到安装HDFS角色的服务器上任意目录执行如下命令，能正常执行即代表功能可用
  命令：hadoop fs -ls /
  

截至到现在都能不出问题的安装之后，CM&CDH安装的功能都能用了，如果还有同学挂了，下一个就会更CM&CDH的常见问题。。。