CDH安装

1.环境版本

CDH: 5.12.0 Centos: 6.9

节点: hadoop101(主): 6G,8核,50G磁盘, hadoop102: 2G,4核,30G磁盘, hadoop103: 2G,4核,30G磁盘

2.虚拟机基本配置

默认配置好了, 如hosts, ssh , jdk, 防火墙, 能够相互ping通, 能够ping 通 www.baidu.com

注: jdk安装：安装到/usr/java下面，全局变量，防止CDH找不到

jdk放在了 /usr/java/jdk1.8.0_131

3.Mysql安装(重中之重)

MySQL官网https://downloads.mysql.com/archives/community/ 上下载MySQL5.7的Linux安装程序，并上传到服务器。本平台采用mysql-5.7.12的版本，mysql-5.7.12-linux-glibc2.5-x86_64.tar.gz。 (我忘记我的5.7.12在哪下载的了, 5.7.13也行,问题不大)

创建mysql用户

# groupadd mysql

# useradd -r -g mysql -s/bin/false mysql

创建mysql工作目录，上传解压mysql安装程序

# mkdir -p /apps/svr/mysql/ /apps/svr/mysql/data

# tar xzf mysql-5.7.12-linux-glibc2.5-x86_64.tar.gz -C /apps/svr/mysql/

# mv mysql-5.7.12-linux-glibc2.5-x86_64/ mysql-5.7.12/ ##修改名字

配置mysql环境变量

vim /etc/profile

# Mysql

export PATH=$PATH:https:/apps/svr/mysql/mysql-5.7.12/bin

#source /etc/profile

安装libaio:

# yum -y installlibaio libaio-devel 直接运行就得了

拷贝配置文件

#cd /apps/svr/mysql/mysql-5.7.12/

# cp./support-files/my-default.cnf /etc/my.cnf

修改配置文件

# vim /etc/my.cnf

basedir = /apps/svr/mysql/mysql-5.7.12

datadir = /apps/svr/mysql/data

socket = /tmp/mysql.sock

初始化数据库

# cd/apps/svr/mysql/mysql-5.7.12/

# bin/mysqld--defaults-file=/etc/my.cnf --initialize --user=mysql

将mysqld加入service系统服务

# cpsupport-files/mysql.server /etc/init.d/mysqld

# chkconfig --add mysqld

# chkconfig mysqld on //开机自启动

启动mysql服务

# service mysqld start

# mysql -u root -p000000 //密码为6个0.. 如果这一步错了,查看service

mysqld status是否运行, 按照下面方式修改,亲测,可用

加上面这个可以进入mysql不需要密码,很好,然后再从mysql里面修改密码,

如果上面修改密码一致错误, 报password的错误,就把语句改成:

update mysql.user set authentication_string=password('000000') where user='root' ;

mysql> alter user 'root'@'localhost' identified by '000000';

mysql> flushprivileges;

4.创建数据库

为CDH平台相关创建数据库

mysql> createdatabase activity default charset utf8 collate utf8_general_ci;

mysql> createdatabase hive default charset utf8 collate utf8_general_ci;

mysql> createdatabase oozie default charset utf8 collate utf8_general_ci;

mysql> createdatabase hue default charset utf8 collate utf8_general_ci;

授权给cdh用户

mysql> grant allon activity.* to 'cdh'@'%' identified by '000000';

mysql> grant allon hive.* to 'cdh'@'%' identified by '000000';

mysql> grant allon oozie.* to 'cdh'@'%' identified by '000000';

mysql> grant allon hue.* to 'cdh'@'%' identified by '000000';

mysql> flushprivileges;

5.Cloudera Manager安装

CDH常用安装方式一般包括：Cloudera Manager在线安装、Parcel安装、YUM安装以及RPM安装，本次安装采用Percel方式进行。

Cloudera Manager

Cloudera 官网http://archive.cloudera.com/cm5/cm/5/下载CM5.12的Linux安装程序，并上传到服务器。

本平台采用cm5.12.0的版本，cloudera-manager-el6-cm5.12.0_x86_64.tar.gz。

CDH Percel包

Cloudera 官网http://archive.cloudera.com/cdh5/parcels/下载CDH5.12的Linux安装程序，并上传到服务器。

本平台采用CDH 5.12.0的版本，需下载三个文件：

CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel

CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha1

manifest.json //这个下载是右键,然后链接另存为……, 我在这犯过错误,我是复制json,然后保存到新建文件,亲测,这样不行!!!

6.MySQL JDBC驱动

本平台采用mysql-connector-java-5.1.46.jar。https://blog.csdn.net/weixin_41831619/article/details/79914307

7.部署CM

创建cloudera-scm用户

所有机器都执行:

useradd --system --home=/opt/cm-5.12.0/run/cloudera-scm-server --no-create-home

--shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

表示系统用户

--system

指定用户的主目录

--home=/opt/cm-5.12.0/run/cloudera-scm-server --no-create-home

不作为登陆用户

--shell=/bin/false

--comment "Cloudera SCM User"

用户名

cloudera-scm

验证cloudera-scm用户

# cat

/etc/passwd | grep cloudera-scm

解压CM安装程序

到hadoop101上执行

# tar -xvf cloudera-manager-el6-cm5.12.0_x86_64.tar.gz -C /opt

初始化Cloudera Manager数据库

主机hadoop101上执行

拷贝MySQL驱动

# cpmysql-connector-java-5.1.46.jar /opt/cm-5.12.0/share/cmf/lib/

# /opt/cm-5.12.0/share/cmf/schema/scm_prepare_database.sh

mysql cm -hlocalhost -uroot -p'000000' scm 'root'

这样的话就成功了

主机hadoop101上执行(当前节点名称）

# vim /opt/cm-5.12.2/etc/cloudera-scm-agent/config.ini

server_host=hadoop101 //这里一定要设置正确,如果设置不正确,则只能检测到一个节点

# scp -r /opt/cm-5.12.0 hadoop102:/opt/

# scp -r /opt/cm-5.12.0 hadoop103:/opt/

//记得在其他的节点上也修改server_host

8.上传Parcel到服务器

主机hadoop101上执行

将CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel，CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha1，manifest.json三个文件上传到master1的/opt/cloudera/parcel-repo/目录中，同时将CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha1复制为CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha。

# mvCDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha1CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha

启动CM服务

主机hadoop101上启动CM服务和代理

#/opt/cm-5.12.0/etc/init.d/cloudera-scm-server restart

#/opt/cm-5.12.0/etc/init.d/cloudera-scm-agent restart

（hadoop102 - hadoop103）上启动CM代理

#/opt/cm-5.12.0/etc/init.d/cloudera-scm-agent restart