CDH之Cloudera Manager安装部署
一、Cloudera Manager
• Cloudera Manager是一个管理CDH的端到端的应用。
• 作用：
– 管理
– 监控
– 诊断
– 集成
• 架构
• Server
– 管理控制台服务器和应用程序逻辑
– 负责软件安装、配置，启动和停止服务
– 管理服务运行的群集
• Agent
– 安装在每台主机上
– 负责启动和停止进程，配置，监控主机
• Management Service
– 由一组角色组成的服务，执行各种监视、报警和报告功能
• Database
• Cloudera Repository
• Clients
• Admin Console
• API
二、安装前环境搭建
1 .网络配置( 所有节点)
vi /etc/sysconfig/network 修改 hostname：
通过 service network restart 重启网络服务生效vi
vi /etc/hosts ,修改 ip 与主机名的对应关系
2 .SSH 免密码登录
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
ssh-copy-id node06 或者：主节点执行： ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
原理：生成无密码密钥对
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
然后将公钥添加到其他节点的authorized_keys上：
$ scp ~/.ssh/id_dsa.pub root@node6:/opt
$ scp ~/.ssh/id_dsa.pub root@node7:/opt
$ scp ~/.ssh/id_dsa.pub root@node8:/opt
#然后分别登录这三台虚拟机，将公钥覆盖到公钥中
$ cat /opt/id_dsa.pub >> ~/.ssh/authorized_keys 3. 关闭 防火墙
临时关闭：service iptables stop
永久关闭（重启后生效 init 6）：chkconfig iptables off
4.关闭 SELINUX
临时关闭：setenforce 0
修改配置文件vi /etc/selinux/config（重启生效） ：
将 SELINUX=enforcing 改为 SELINUX=disabled
查看 SELINUX 状态：
1) /usr/sbin/sestatus -v
SELinux status: enabled（enabled：开启；disabled：关闭）
2) 使用命令：getenforce 5.安装 JDK 本文采用 RPM 包安装…….执行： rpm -ivh jdk-7u67-linux-x64.rpm
配置环境变量，修改 vi /etc/profile：
export JAVA_HOME=/usr/java/jdk1.7.0_67
export CLASSPATH=.:$JAVA_HOMdE/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH
分发：scp /etc/profile node07:/etc/profile
生效：source /etc/profile查看版本：java -version
6. 设置 NTP
#所有节点安装 NTP：yum install ntp
#配置开机启动： chkconfig ntpd on
#检查是否设置成功： chkconfig --list ntpd （2-5 为 on 状态则成功）
#设置同步：
ntpdate -u ntp.sjtu.edu.cn（时钟服务器根据实际环境设置、本文采用 210.72.145.44-国家授时中心服务器 IP 地址）
#或者ntpdate ntp.api.bz
#需要将系统当前时间写入BIOS中，很简单，只需要执行一个命令即可，命令如下
hwclock -w
#启动检查
service ntpd start #启动
service ntpd restart #重启
service ntpd status #查看状态
service ntpd stop #关闭
7.安装 配置 MySql
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123' WITH GRANT OPTION;
flush privileges也可使用Yum自带的Mysql 使用命令 yum install mysql-server
8.下载依赖包
- chkconfig、python、bind-utils、psmisc、libxslt、zlib、sqlite、cyrus-sasl-plain
- cyrus-sasl-gssapi、fuse、fuse-libs、redhat-lsb
yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb三、CM安装
1 . 安装 Cloudera Manager Server&Agent
拷贝 cloudera-manager-el6-cm5.4.3_x86_64.tar.gz 到所有 Server、Agent 节点
创建 cm 目录： mkdir /opt/cloudera-manager
解压 cm 压缩包：tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager
2 . 创建用户 cloudera-scm （ 所有 节点）
执行：用户+权限+资源三位一体
useradd --system --home=/opt/cloudera-manager/cm-5.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm 3 . 配置 CM Agent
修改文件/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini 中server_host 以及 server_port(默认7180 )
4 . 配置 CM Server 的 数据库
将驱动包拷贝到目录下（ 注意拷贝过去的驱动包名字一定要和下边的一样，否则会报错 ） ：
cp mysql-connector-java-5.1.31/mysql-connector-java-5.1.31-bin.jar /usr/share/java/mysql-connector-java.jar
（注意jar包名称要修改为mysql-connector-java.jar）
登录MySql : $ mysql -p mysql -uroot (首次登录不需要密码)
执行：
mysql> use mysql;
mysql> delete from user where user='';
mysql> update user set password=PASSWORD('123456') where user='root'; #为mysql的Root用户更改密码
#--为其他客户端开启连接权限 如果是hive和mysql在同一台服务器上则不需要授权 可以把 %改成IP,则授权固定IP
mysql>grant all privileges on *.* to 'root'@'%' identified by '123456';
mysql> grant all on *.* to 'temp'@'%' identified by 'temp' with grant option; #如果temp数据库存在，则先删除执行这句
mysql>flush privileges; 刷新权限退出MySql 然后执行下面的命令
cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema
./scm_prepare_database.sh mysql -h node06 -utemp -ptemp --scm-host node06 scm scm scm
#./scm_prepare_database.sh mysql -h node1 -utemp -ptemp --scm-host node1 scm scm scm
#（对应于：数据库类型、数据库服务器、用户名、密码、CMServer 所在节点…….） mysql> drop user 'temp'@'%';若上步失败或过程中操作中断，删除所有库、重头来过
若安装 Oozie 等组件可能需要手动创建对应组件所需的数据库，例如：
create database ooziecm DEFAULT CHARACTER SET utf8;
grant all on ooziecm.* TO 'ooziecm'@'%' IDENTIFIED BY 'ooziecm';5 . 创建 Parcel 目录
- Manager 节点创建目录/opt/cloudera/parcel-repo，执行：
mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
- Agent 节点创建目录/opt/cloudera/parcels，执行：
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels6. 制作CDH本地源
将下载好的文件（CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel、CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha、manifest.json）拷贝到opt/cloudera/parcel-repo下目录下。
注：文件CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel以及manifest.json，将这两个文件放到server节点的/。 打开manifest.json文件，里面是json格式的配置，找到与下载版本相对应的hash码，新建文件，文件名与你的parel包名一致，并加上.sha后缀，将hash码复制到文件中保存。
7 . 启动 CM Manager&Agent 服务
执行：
Manager：/opt/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-server start
Agents：/opt/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-agent start
访问：http://ManagerHost:7180，若可以访问（用户名、密码：admin/admin） ，则安装成功。
Manager 启动成功需要等待一段时间，过程中会在数据库中创建对应的表需要耗费一些时间。
四、脚本补充
1、MySql建库&&删库
##amon
create database amon DEFAULT CHARACTER SET utf8;
grant all on amon.* TO 'amon'@'%' IDENTIFIED BY 'amon';
##hive
create database hive DEFAULT CHARACTER SET utf8;
grant all on hive.* TO 'hive'@'%' IDENTIFIED BY 'hive';
##oozie
create database oozie DEFAULT CHARACTER SET utf8;
grant all on oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie';
五、CDH5安装
- CM Manager && Agent 成功启动后，登录前端页面进行 CDH 安装配置。免费版本的CM5 已除 50 个节点数量的限制。
-
在这里指出了不同的版本之间功能上的不同
- 选择当前要安装CDH的主机
- 选择安装CDH的版本，在这里我们要选择我们下载并且上传到Linux下的那个版本
- 下载安装配置的阶段会比较慢，需要耐心等待
-
检查正确性，在这里会有一个警告：xxx 最好是把警告解决了（echo 0 > /proc/sys/vm/swappiness；cat /proc/sys/vm/swappiness），然后再次重启然后访问7180进行安装
- 在这里选择要安装哪些服务，建议都不选择，到安装成功以后再安装这些服务。
- 配置数据库的链接，如果是按上面的一路走下来的话，那么数据库名、用户名、密码都是 temp 即： temp temp temp
- 这个是各种服务的目录，最好记录下来，以方便后面使用
- 然后就是各种安装啦，安装完成以后，可能会显示下面的界面，说明有错误未消除
- 在左侧的位置会显示一些安装以后的一些警告信息和错误信息，根据错误提示，消除错误，最终成功安装！
- 查看主机后台进程，正常运行。
