Cloudera Manager 6.3.0离线部署
基础知识
Cloudera Manager(简称CM)是Cloudera公司开发的一款大数据集群安装部署利器，这款利器具有集群自动化安装、中心化管理、集群监控、报警等功能，使得安装集群从几天的时间缩短在几小时以内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。CM 有免费版和企业版，免费版也可用于商用 而且基本够用了。安装后，基本面如下：
技术选型
尝试过ambari HDP 及自己手动搭建等多种方式，最终选择了使用CM。ambari是apache开源顶级项目，但是在安装后的使用过程中，不同版本有不同的问题，解决比较费时费力。它的优势在于完全开源，可定制开发，组件丰富。缺点是稳定性差，比较折腾人。手动搭建就不用多说了，自己玩玩学习一下就行了。
CM 网站相关
Cloucera Manager 5:Cloudera Manager 5.x
Cloudera Manager 6:Cloudera Manager 6.x
Cloudera Manager Demos 视频
5.x.x官网安装文档
6.3.x官方安装文档
-------------------------------------------------------华丽的分割线--------------------------------------------------------------------
平台基本环境
Ubuntu16.04 server - 3台机器
192.168.10.111 master.cdh.com
192.168.10.112 s1.cdh.com
192.168.10.113 s2.cdh.com
对应的hostname为: master.cdh.com/s1.cdh.com/s2.cdh.com
本地源搭建
下载cm6.3.0包
cm6.3.0-ubuntu1604
本地源服务器假设为192.168.10.110
- 上传文件到192.168.10.110上
scp cm*.gz [email protected]
- 解压cm6.3.0-ubuntu1604.tar.gz
tar -zxvf cm6.3.0-ubuntu1604.tar.gz
进入目录，课件如下列表
- 配置apt源
安装apche2或nginx然后创建链接
apt install apache2
###等待安装完成
cd /var/www/html/
ln -s /home/ubuntu/cm6.3.0 ./
- 访问页面
正确显示，那么cm本地源就搞定了。否则劝您面壁三年半。
集群配置
ntp的安装
所有机器都需要安装
apt install chrony
根据需要设置时间同步服务器，以显示*号为准：
最好是以master为主服，其余的用master的服务器时间
ssh免密钥
所有节点都执行
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authroized_keys
然后把master节点的authorized_keys分发到所有子节点中去，很简单
安装cloudera manager
- 所有节点都需要配置离线源
deb [arch=amd64] http://192.168.10.31/cm6.3.0/ubuntu1604/apt xenial-cm6.3.0 contrib
保存文件为cloudera-manager.list，放到/etc/apt/soures.list.d/下面
- 所有节点下载archive.key这个文件，在离线包里有
wget http://192.168.10.31/cm6.3.0/archive.key
apt-key add archive.key
apt-get update
等待完成
- 安装依赖包
master节点安装数据库相关
apt-get install libmysql-java #数据库连接器
apt-get install mysql-server
java包，java包可自行上传，但所在位置必须为/usr/java/这个目录下面，没有/user/java自行创建
mkdir /usr/java
ln -s /ubuntu/home/jdk1.8.0_112 /usr/java/
python包
apt install python2.7
cm 包（master节点）
sudo apt-get install cloudera-manager-daemons cloudera-manager-server cloudera-manager-agent
cm包（slave节点）
sudo apt-get install cloudera-manager-daemons cloudera-manager-agent
数据库准备
修改mysql的配置
vi /etc/mysql/mysql.conf.c/mysqld.cnf
注释掉127.0.0.1这一行
重启服务service mysql restart
CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY '123456_';
CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY '123456_';
CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY '123456_';
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY '123456_';
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON sentry.* TO 'sentry'@'%' IDENTIFIED BY '123456_';
CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY '123456_';
CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON nav.* TO 'nav'@'%' IDENTIFIED BY '123456_';
CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON navms.* TO 'navms'@'%' IDENTIFIED BY '123456_';
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON oozie.* TO 'oozie'@'%' IDENTIFIED BY '123456_';
GRANT ALL ON *.* TO 'root'@'%' IDENTIFIED BY '123456_';
flush privileges;
执行以下代码
cd /opt/cloudera/cm/schema/
./scm_prepare_database.sh mysql scm scm 123456_
./scm_prepare_database.sh mysql amon amon 123456_
./scm_prepare_database.sh mysql hue hue 123456_
./scm_prepare_database.sh mysql nav nav 123456_
./scm_prepare_database.sh mysql navms navms 123456_
./scm_prepare_database.sh mysql oozie oozie 123456_
./scm_prepare_database.sh mysql rman rman 123456_
./scm_prepare_database.sh mysql sentry sentry 123456_
小建议：
echo 10 > /proc/sys/vm/swappiness
准备parcels包
包下载地址：
CDH-6.3.0
上传下载好后，上传到master节点的 /opt/cloudera/parcel-repo/这个目录下
这里要注意一个文件：
CDH-6.3.0-1.cdh6.3.0.p0.1279813-xenial.parcel.sha1
要修改名称，为
CDH-6.3.0-1.cdh6.3.0.p0.1279813-xenial.parcel.sha
不然在部署的时候，下载好的文件识别不了。
这是个大坑，注意以下
启动服务：
service cloudera-scm-server start
查看日志：
sudo tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
访问地址：
http://192.168.10.111:7180