1.Cloudera Manager安装

安装环境采用2台虚拟机进行，一台master, 一台slave1

先安装好centos 6.5 两台，并设置静态ip

怎么安装可以参考地址：https://jingyan.baidu.com/article/25648fc1a235c99191fd0008.html

 

 

关闭防火墙

设置成disabled

 

service iptables stop 手工停止防火墙
chkconfig iptables off 设置开机不启动防火墙
chkconfig iptables --list 查看防火墙服务 

另外一台slave1也是一样的操作。

 

 

 设置/etc/hosts， 整个集群里全部节点都要配置进去， 两个节点都配置。

vim  /etc/hosts

192.168.189.140 master
192.168.189.141 slave1
127.0.0.1 localhost

 

下载安装包

http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.15.1/RPMS/x86_64/

 

 

 

下载 repo 文件和 Installer.bin
下载 repo 文件： http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/cloudera-manager.repo
下载 Installer.bin 文件： http://archive.cloudera.com/cm5/installer/5.15.1/

 

 

 

 

把包上传到master机器上

 

 

 

 

 

移动文件

mv cloudera-manager.repo /etc/yum.repos.d/

 

 

 

修改文件cloudera-manager.repo 

[cloudera-manager]
# Packages for Cloudera Manager, Version 5, on RedHat or CentOS 6 x86_64                  
name=Cloudera Manager
baseurl=https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.15.1/
gpgkey =https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera
gpgcheck = 1

 

 

 

执行 yum clean all 清空 yum 缓存

 

 

yum list|grep cloudera 验证 repo 文件是否起效

 

 

 

 

安装rpm包

yum install -y *.rpm

 

 

 

 

 

 

rpm -qa|grep cloud

rpm -qa|grep java

rpm -qa|grep jdk

rpm -qa|grep oracle

 

 

 

 

然后运行.bin 安装 CM Server， 只需要一台节点安装 CM Server 

chmod +x cloudera-manager-installer.bin

 

 

 

执行

./cloudera-manager-installer.bin

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Cm Server 的日志目录： /var/log/cloudera-scm-server
安装过程日志目录： /var/log/cloudera-manager-installer

 

cm 相关的安装目录都在/var/lib 下， 日志都在/var/log 下。
Jdk 安装目录在/usr/java 下。

 

 

常见问题：

Installer.bin 安装过程失败后， 常有的问题：

1、 自动修改了 repo 文件名， 出现后缀 rpmnew 、 rpmsave(备份)两个文件。

其中 rpmsave 后缀的是已有 repo 文件重命名后的， rpmnew 是新产生的（说明官方建议用最新版 
本） 。
怎么解决： 1、 把 rpmsave 文件改名为 cloudera-manager.repo
2、 清空 yum 缓存， yum clean all
3、 重试 installer.bin

 

等几分钟，打开地址 http://192.168.189.140:7180/

用户名：admin

密码：admin

 

 

 

 

 

 

 

安装 CDH 有两种方式， 一种是使用 rpm 包（需要联网） ， 另一种是使用 parcels 包（离线） 。
parcels 方式不需要联网， 且安装简洁， 也是官方推荐的方式

 

parcels 方式安装步骤， 仅在 master 节点进行操作

1.手工下载软件包。
下载地址： http://archive.cloudera.com/cdh5/parcels/5.15.1/

下载如下红色标出的 3 个文件 :

 

 

el 是红帽、 Centos 等系统的， el6 对应 Centos 6.x

下载后把这 3 个文件放到/opt/cloudera/parcel-repo 目录下， 该目录在 cm 安装后已自动创建

 

 

 

2、 把 CDH-5.15.1-1.cdh5.15.1.p0.11-el6.parcel.sha1 的后缀改为.sha ;
内容只保留 hashCode 部分。

mv CDH-5.15.1-1.cdh5.15.1.p0.4-el6.parcel.sha1 CDH-5.15.1-1.cdh5.15.1.p0.4-el6.parcel.sha

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

把这里改成需要安装的版本

 

 

 

 

 

 

 

 

 

 

 

这里需要注意，每个节点的账户密码要保持一致

 

 

 

将master的rpm包发送到slave1上

scp -r cloudera-manager-agent-5.15.1-1.cm5151.p0.3.el6.x86_64.rpm cloudera-manager-daemons-5.15.1-1.cm5151.p0.3.el6.x86_64.rpm slave1:/opt/soft/cm/

 

 

 

scp cloudera-manager.repo slave1:/etc/yum.repos.d/

 

 

 

 

到slave1检查一下文件内容

 

 

 

 

清理一下缓存

yum clean all

 

 

 

 

 

scp -r jdk-6u31-linux-amd64.rpm oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm slave1:/opt/soft/cm/

 

 

 

 

 

 

在slave1节点安装一下rpm包

yum install -y *.rpm

 

 

 

 

 

先终止安装，因为之前在slave1中忘记安装rpm包了，如果终止时间比较长，可以刷新页面，重复前面的几个步骤

 

 

 

 

如果遇到这样的报错信息

 

 

解决办法:
1、 检查/etc/hosts 。
2、 如果 1 解决不了， 则在该节点上重启
查服务名称： chkconfig --list|grep cloud
执行重启命令： service cloudera-scm-agent restart
然后界面里点击重试。

 

 

 

 

 

 

我们逐个问题解决

先解决时钟不同步的问题

 

 

 

 

 

 ntpdate pool.ntp.org

 

 

 

 

 

可以看到时钟同步问题已经解决

 

针对这个问题

 

 

分别在master  slave1上运行以下语句

先临时修改

sysctl vm.swappiness=10
cat /proc/sys/vm/swappiness

 

 

 

 

 

 

再永久修改

echo 'vm.swappiness=10'>> /etc/sysctl.conf

 

 

 

 

 

可以看到问题解决了

 

 

 

 

针对这个问题

 

 

在master  slave1上分别运行

 echo never > /sys/kernel/mm/transparent_hugepage/defrag
 echo never > /sys/kernel/mm/transparent_hugepage/enabled

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

遇到这个问题，把/dfs目录下的内容删除掉，所以节点都这样操作，再重新运行一次即可