CDH安装详细教程以及添加phoenix服务

CDH5.14.2以及安装phoenix文档
一、 centos7下安装CDH所需软件包:

cdh5.14.2下载：https://archive.cloudera.com/cdh5/parcels/5.14.2/
然后下载cm5.14.3软件包:

cm5.14.3下载:
https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.14.3/RPMS/x86_64/
RPM-GPC-KEY-cloudera下载:

https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/
mysql安装包准备:

https://dev.mysql.com/downloads/file/?id=480090
选择:

下载:mysql-5.7.24-1.el7.x86_64.rpm-bundle.tar
https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.24-1.el7.x86_64.rpm-bundle.tar
下载jdk1.8安装包:
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-

下载phoenix相关软件包:

下载地址:
http://www.apache.org/dist/phoenix/apache-phoenix-4.14.0-cdh5.14.2/parcels/

二、集群规划
IP hostname software
10.10.6.83 wlt-1 mysql、httpd、cm server
10.10.6.84 wlt-2 cm agent、hdfs、hbase、phoenix、zookeeper、spark、yarn
10.10.6.85 wlt-3 cm agent、hdfs、hbase、phoenix、zookeeper、spark、yarn
10.10.6.86 wlt-4 cm agent、hdfs、hbase、phoenix、zookeeper、spark、yarn

三、上传软件
将上述所有软件包上传，准备开始安装了
四、开始安装CDH
4.1、修改hosts文件
范围:wlt-1/wlt-2/wlt-3/wlt-4
命令: vi /etc/hosts

4.2、修改hostname
范围: wlt-1/wlt-2/wlt-3/wlt-4
命令: vi /etc/hostname
wlt-1/wlt-2/wlt-3/wlt-4
4.3、ssh免密登录
4.3.1、创建私钥文件
范围: wlt-1/wlt-2/wlt-3/wlt-4
命令如下：
mkdir -p ~/.ssh
chmod 700 -R ~/.ssh
cd ~/.ssh
ssh-keygen -t rsa
这个就是一路回车就可以!
4.3.2、将秘钥文件拷贝到wlt-1
范围：wlt-2
命令：scp id_rsa.pub root@wlt-1:~/.ssh/id_rsa.pub.wlt-2
范围：wlt-3
命令：scp id_rsa.pub root@wlt-1:~/.ssh/id_rsa.pub.wlt-3
范围：wlt-4
命令：scp id_rsa.pub root@wlt-1:~/.ssh/id_rsa.pub.wlt-4
4.3.3、合并秘钥文件
范围：wlt-1
命令:
cat id_rsa.pub >> authorized_keys
cat id_rsa.pub.wlt2 >> authorized_keys
cat id_rsa.pub.wlt3 >> authorized_keys
cat id_rsa.pub.wlt4 >> authorized_keys
chmod 600 ~/.ssh/authorized_keys
4.3.4、分发公钥文件
范围： wlt-1
命令：
scp authorized_keys root@wlt-2:~/.ssh/authorized_keys
scp authorized_keys root@wlt-3:~/.ssh/authorized_keys
scp authorized_keys root@wlt-4:~/.ssh/authorized_keys
http://10.10.6.83/cm5.14.3
http://10.10.6.83/cm5.14.3
4.3.5、验证ssh免密登录
范围： wlt-1/wlt-2/wlt-3/wlt-4

命令：
ssh wlt-1
ssh wlt-2
ssh wlt-3
ssh wlt-4
4.4、集群时钟同步
4.4.1、安装ntp包
范围： wlt-1/wlt-2/wlt-3/wlt-4
命令：yum install -y ntp
4.4.2、主节点配置
4.4.2.1、修改配置文件
范围：wlt-1
命令：vi /etc/ntp.conf
修改以下内容：
#server 0.rhel.pool.ntp.org iburst
#server 1.rhel.pool.ntp.org iburst
#server 2.rhel.pool.ntp.org iburst
#server 3.rhel.pool.ntp.org iburst
server 127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10
4.4.2.2、启动ntp服务
范围：wlt-1
命令：
systemctl start ntpd
systemctl enable ntpd
systemctl status ntpd
4.4.2.3、查看当前ntp状态
范围： wlt-1
命令：ntpq –p

出现*，说明已经开始同步了。
4.4.3、从节点配置
4.4.3.1、修改配置文件
范围： wlt-2/wlt-3/wlt-4
命令：vi /etc/ntp.conf
修改以下内容：
#server 0.rhel.pool.ntp.org iburst
#server 1.rhel.pool.ntp.org iburst
#server 2.rhel.pool.ntp.org iburst
#server 3.rhel.pool.ntp.org iburst
server 10.10.6.83
4.4.3.2、启动nto服务
范围： wlt-2/wlt-3/wlt-4
命令：
systemctl start ntpd
systemctl enable ntpd
systemctl status ntpd

4.4.3.3、查看当前ntp状态
范围： wlt-2/wlt-3/wlt-4
命令：ntpq –p

所有从节点出现*，说明已经开始同步了，如果此时还未出现，请耐心等待几分钟即可，一般 5分钟左右。
4.5、安装JDK
4.5.1、解压文件
范围：wlt-1/ wlt-2/wlt-3/wlt-4
命令：tar -xvf jdk-8u181-linux-x64.tar.gz
4.5.2、修改配置文件
范围：wlt-1/ wlt-2/wlt-3/wlt-4
命令：vi /etc/profile
增加以下内容:
export JAVA_HOME=/opt/jdk1.8.0_181
export PATH=$PATH:$JAVA_HOME/bin:$HADOO{P}_{H}OME/binexportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
4.5.3、生效配置
范围：wlt-1/ wlt-2/wlt-3/wlt-4
命令：source /etc/profile
4.5.4、验证jdk
范围： wlt-1/ wlt-2/wlt-3/wlt-4
命令：java –version

4.6、配置jdbc驱动
范围： wlt-1/ wlt-2/wlt-3/wlt-4
命令：
tar -xvf mysql-connector-java-5.1.47.tar.gz
mkdir -p /usr/share/java/
mv /opt/mysql-connector-java-5.1.47/mysql-connector-java-5.1.47.jar /usr/share/java/
cd /usr/share/java
chmod 777 mysql-connector-java-5.1.47.jar
ln -s mysql-connector-java-5.1.47.jar mysql-connector-java.jar

4.7、安装httpd服务
4.7.1、安装httpd包
范围： wlt-1
命令：
yum -y install httpd createrepo
mv cm5.14.3/ cdh5.14.2/ /var/www/html/
cd /var/www/html/cm5.14.3/
createrepo ./
chmod 777 *
cd /var/www/html/cdh5.14.2/
createrepo ./
chmod 777 *
4.7.2、测试httpd服务
http://10.10.6.83/cm5.14.3/
http://10.10.6.83/cdh5.14.2/
可以看到俩个文件夹下的相关软件包

4.7.3、配置repo
范围： wlt-1/ wlt-2/wlt-3/wlt-4
命令：vi /etc/yum.repos.d/cm.repo
增加以下内容：
[cmrepo]
name = cm_repo baseurl = http://10.10.6.83/cm5.14.3
enable = true
gpgcheck = false
4.7.4、查看仓库
范围： wlt-1/ wlt-2/wlt-3/wlt-4
命令：yum repolist

4.8、设置swap
范围： wlt-1/ wlt-2/wlt-3/wlt-4
命令： echo “vm.swappiness=10” >> /etc/sysctl.conf
4.9、设置透明大页面
范围： wlt-1/ wlt-2/wlt-3/wlt-4
命令：
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
4.10、安装mysql
4.10.1、卸载mariadb
范围： wlt-1
命令：
rpm -qa|grep mariadb
rpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_64
4.10.2、安装mysql
范围： wlt-1

tar -xvf /opt/mysql-5.7.24-1.el7.x86_64.rpm-bundle.tar
yum install -y net-tools
rpm -ivh mysql-community-common-5.7.24-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.24-1.el7.x86_64.rpm
rpm -ivh mysql-community-devel-5.7.24-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-compat-5.7.24-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.24-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-5.7.24-1.el7.x86_64.rpm
4.10.3、启动mysql服务
范围： wlt-1
命令：systemctl start mysqld
4.10.4、查看初始密码
范围： wlt-1
命令：grep ‘temporary password’ /var/log/mysqld.lo

4.10.5、设置mysql数据库
范围： wlt-1
命令：
mysql -u root –p
修改mysql密码定义规则:
set global validate_password_policy=0;
set global validate_password_mixed_case_count=0;
set global validate_password_number_count=3;
set global validate_password_special_char_count=0;
set global validate_password_length=3;
修改密码:
set password for ‘root’@‘localhost’=password(‘123’);
GRANT ALL PRIVILEGES ON . TO root@’%’ IDENTIFIED BY ‘123’ WITH GRANT OPTION;
SHOW VARIABLES LIKE ‘validate_password%’;
创建cdh安装所需库:
create database cm DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci; create database rman DEFAULT CHARSET utf8 COLLATE utf8_general_ci; FLUSH PRIVILEGES;
exit;
4.11、安装Cloudera Mannager
范围： wlt-1
命令：yum -y install cloudera-manager-server

4.12、初始化数据库
范围： wlt-1
命令：
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql cm root 123

4.13、启动Cloudera Manager
范围： wlt-1
命令：
systemctl start cloudera-scm-server
systemctl status cloudera-scm-server

4.14、检查端口是否监听
范围： wlt-1
命令：netstat -lnpt | grep 7180

启动的过程需要一段时间，大约 2 分钟左右，请耐心等待后再次执行
4.15、访问Cloudera Manager Server
4.15.1、登录CM
访问http://10.10.6.83:7180/cmf/login
默认用户名/密码为：admin/admin

接下来就是一路next

注意:这里选择”Cloudera Express”免费版

4.15.2、添加主机
添加wlt-2,wlt-3,wlt-4

4.15.3、设置存储库
选择“自定义存储库”，输入：http://10.10.6.83/cm5.14.3/

使用 parcel 选择，点击“更多选项”,点击“-”删除其它所有地址

然后点击加号输入 http://10.10.6.83/cdh5.14.2/ 点击“保存更改”
然后继续就ok
4.15.4、安装jdk

到这一步去服务器执行 chmod 777 /etc/group
然后
这个页面什么都不要选，默认安装本地的jdk,直接点击继续!!
等待安装完毕即可。。
4.15.5、分配\解压\激活

4.15.6、检查主机正确性

如果有报这个问题
2） 升级 Psycopg2
范围： hbase2/hbase3/hbase4
命令：
yum -y install python-devel mysql-devel zlib-devel openssl-devel gcc-c++ postgresql-devel* cd /opt
下载:
https://pypi.python.org/packages/source/p/psycopg2/psycopg2-2.5.4.tar.gz
tar zxvf psycopg2-2.5.4.tar.gz
cd psycopg2-2.5.4
python setup.py build
python setup.py install

运行上述命令后，点击：“重新运行”，解决.
4.15.7、选择服务
选择自定义服务:
Hbase
HDFS
Spark
YARN(MR2 Included)
Zookeeper
也可有需要可在页面自行添加
4.15.8、自定义角色分配
为了更加均衡的分配资源，我们”按主机查看“一下角色分配的具体情况
然后分配角色:
尤其要注意 zookeeper 的选择，至少 3 个以上
wlt-2 的角色比较多，再选择角色的时候，尽量分散开，选择完之后的角色分配情况

选择好之后，继续进行安装

然后，安装结束，点击完成，就可以看到主界面了！
五、安装CDH版phoenix
5.1、添加phoenix到httpd服务
将上传上去phoenix软件包放到当前目录下

修改文件权限

5.2、打开cloudera manager进行配置
打开页面上方小礼盒

点击配置

添加phoenix的远程存储库,添加完毕点击保存更改生效

依次点击：下载、分配、使用。parcel就会自动安装在各个机器上了。

然后：重启hbase客户端配置

最后查看是否安装成功
命令 :
cd /opt/cloudera/parcels/APACHE_PHOENIX/bin
./phoenix-sqlline.py wlt-2:2181 (注意一定要加上主机名和zk端口号)

!quit退出

到此相关服务组件成功安装完毕。