Centos7安装CDH6文档

1软件需求

1. vagrant_1.9.6_x86_64.msi
2. VirtualBox-5.1.24-117012-Win.exe
3. vagrant-centos-7.2.box
4. mysql-connector-java-5.1.47.tar.gz
5. CDH6相关软件包(cm6.0和 cdh6.0)，如下 

 

2集群规划

Ip	Hostname	Software
192.168.56.11	hbase1	Mysql、httpd、cm server
192.168.56.12	Hbase2	Cm Agent、hdfs、hbase
192.168.56.13	Hbase3	Cm Agent、hdfs、hbase
192.168.56.14	Hbase4	Cm Agent、hdfs、hbase

 

3创建虚拟机

通过vagrant+visual box创建上述4个虚拟机

连接到4个终端

4上传软件

将软件需求的软件全部上传至hbase1中

5安装CDH6

5.1 修改hosts文件

范围：hbase1/hbase2/hbase3/hbase4

命令：vi /etc/hosts

127.0.0.1  localhost

192.168.56.11 hbase1

192.168.56.12 hbase2

192.168.56.13 hbase3

192.168.56.14 hbase4

5.2 修改hostname

范围：hbase1/hbase2/hbase3/hbase4

命令：vi /etc/hostname

hbase1

5.3 SSH免密登录

5.3.1 创建私钥文件

范围：hbase1/hbase2/hbase3/hbase4

命令如下：

mkdir -p ~/.ssh

chmod 700 -R ~/.ssh

cd ~/.ssh

ssh-keygen -t rsa

5.3.2 将私钥文件拷贝至hbase1

范围：hbase2

命令：scp id_rsa.pub root@hbase1:~/.ssh/id_rsa.pub.hbase2

范围： hbase3

命令：scp id_rsa.pub root@hbase1:~/.ssh/id_rsa.pub.hbase3

范围： hbase4

命令：scp id_rsa.pub root@hbase1:~/.ssh/id_rsa.pub.hbase4

5.3.3 合并秘钥文件

范围： hbase1

命令：

cat id_rsa.pub >> authorized_keys

cat id_rsa.pub.hbase2 >> authorized_keys

cat id_rsa.pub.hbase3 >> authorized_keys

cat id_rsa.pub.hbase4 >> authorized_keys

chmod 600 ~/.ssh/authorized_keys

5.3.4 分发公钥文件

范围： hbase1

命令：

scp authorized_keys root@hbase2:~/.ssh/authorized_keys

scp authorized_keys root@hbase3:~/.ssh/authorized_keys

scp authorized_keys root@hbase4:~/.ssh/authorized_keys

5.3.5 验证ssh免密登录

范围： hbase1/hbase2/hbase3/hbase4

命令：

ssh hbase1

ssh hbase2

ssh hbase3

ssh hbase4

5.4 集群时钟同步

5.4.1 安装ntp包

范围： hbase1/hbase2/hbase3/hbase4

命令：yum install -y ntp

5.4.2 主节点配置

5.4..1修改配置文件

范围： hbase1

命令：vi /etc/ntp.conf

修改以下内容：

#server 0.rhel.pool.ntp.org iburst

#server 1.rhel.pool.ntp.org iburst

#server 2.rhel.pool.ntp.org iburst

#server 3.rhel.pool.ntp.org iburst

server  127.127.1.0     # local clock

fudge   127.127.1.0 stratum 10

 

5.4.2.2启动ntp服务

范围： hbase1

命令：

systemctl start ntpd

systemctl enable ntpd

systemctl status ntpd

5.4.2.3查看当前ntp状态

范围： hbase1

命令：ntpq –p

出现*，说明已经开始同步了。

5.4.3 从节点配置

5.4.3.1修改配置文件

范围： hbase2/hbase3/hbase4

命令：vi /etc/ntp.conf

修改以下内容：

#server 0.rhel.pool.ntp.org iburst

#server 1.rhel.pool.ntp.org iburst

#server 2.rhel.pool.ntp.org iburst

#server 3.rhel.pool.ntp.org iburst

server 192.168.56.11

 

5.4.3.2启动ntp服务

范围： hbase2/hbase3/hbase4

命令：

systemctl start ntpd

systemctl enable ntpd

systemctl status ntpd

5.4.3.3查看当前ntp状态

范围： hbase2/hbase3/hbase4

命令：ntpq –p

出现*，说明已经开始同步了，此时还未出现，请耐心等待几分钟即可，一般5分钟左右。

5.5安装JDK

5.5.1解压文件

范围： hbase1/hbase2/hbase3/hbase4

命令：tar -xvf jdk-8u181-linux-x64.tar.gz

5.5.2修改配置文件

范围： hbase1/hbase2/hbase3/hbase4

命令：vi /etc/profile

增加以下内容：

export JAVA_HOME=/opt/jdk1.8.0_181

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

5.5.3生效配置

范围： hbase1/hbase2/hbase3/hbase4

命令：source /etc/profile

5.5.4 验证jdk

范围： hbase1/hbase2/hbase3/hbase4

命令：java –version

5.6配置jdbc驱动

范围： hbase1/hbase2/hbase3/hbase4

命令：

tar -xvf mysql-connector-java-5.1.47.tar.gz

mkdir -p /usr/share/java/

mv /opt/mysql-connector-java-5.1.47/mysql-connector-java-5.1.47.jar /usr/share/java/

cd /usr/share/java

chmod 777 mysql-connector-java-5.1.47.jar

ln -s mysql-connector-java-5.1.47.jar mysql-connector-java.jar

5.7安装httpd服务

5.7.1 安装httpd包

范围： hbase1

命令：

yum -y install httpd createrepo

mv cm6.0/ cdh6.0/ /var/www/html/

cd /var/www/html/cm6.0/

createrepo ./

cd /var/www/html/cdh6.0/

createrepo ./

5.7.2测试httpd服务

5.7.3配置repo

范围： hbase1/hbase2/hbase3/hbase4

命令：vi /etc/yum.repos.d/cm.repo

增加以下内容：

[cmrepo]

name = cm_repo

baseurl = http://192.168.56.11/cm6.0

enable = true

gpgcheck = false

5.7.4查看仓库

范围： hbase1/hbase2/hbase3/hbase4

命令： yum repolist

5.8安装oracle-JDK

范围： hbase1/hbase2/hbase3/hbase4

命令：yum -y install oracle-j2sdk1.8-1.8.0+update141-1.x86_64

5.9设置swap

范围： hbase1/hbase2/hbase3/hbase4

命令： echo "vm.swappiness=10" >> /etc/sysctl.conf

5.10设置透明大页面

范围： hbase1/hbase2/hbase3/hbase4

命令：

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

5.11安装mysql

5.11.1卸载mariadb

范围： hbase1

命令：

rpm -qa|grep mariadb

rpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_64

5.11.2下载mysql源安装包

范围： hbase1

命令：wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm

5.11.3安装mysql源

范围： hbase1

命令：yum -y localinstall mysql57-community-release-el7-8.noarch.rpm

5.11.4安装MySQL

范围： hbase1

命令：yum -y install mysql-community-server

5.11.5启动MySQL服务

范围： hbase1

命令：systemctl start mysqld

5.11.6查看初始化密码

范围： hbase1

命令：grep 'temporary password' /var/log/mysqld.log

5.11.7设置mysql数据库

范围： hbase1

命令：

mysql -u root -p

set global validate_password_policy=0;

set global validate_password_mixed_case_count=0;

set global validate_password_number_count=3;

set global validate_password_special_char_count=0;

set global validate_password_length=3;

set password for 'root'@'localhost'=password('hive');

GRANT ALL PRIVILEGES ON *.* TO root@'%' IDENTIFIED BY 'hive' WITH GRANT OPTION;

SHOW VARIABLES LIKE 'validate_password%';

create database cm DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database rman DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

FLUSH PRIVILEGES;

exit;

5.12 安装Cloudera Manager

范围： hbase1

命令：yum -y install cloudera-manager-server

5.13初始化数据库

范围： hbase1

命令：

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql cm root hive

5.14启动Cloudera Manager Server

范围： hbase1

命令：

systemctl start cloudera-scm-server

systemctl status cloudera-scm-server

5.15检查端口是否监听

范围： hbase1

命令：netstat -lnpt | grep 7180

启动的过程需要一段时间，大约2分钟左右，请耐心等待。。。

5.16访问Cloudera Manager Server

5.16.1登录到CM

访问http://192.168.56.11:7180/cmf/login，

默认用户名/密码为：admin/admin

接下来，一路next

这里我们选择“Cloudera Express”

5.16.2添加主机

5.16.3设置存储库

选择“自定义存储库”，输入：http://192.168.56.11/cm6.0/

使用parcel选择，点击“更多选项”,点击“-”删除其它所有地址，

输入http://192.168.56.11/cdh6.0/，点击“保存更改”

5.16.4安装jdk

5.16.5安装Install Agents

此步的时间会长一些

5.16.6分配\解压\激活

5.16.7检查主机正确性

这里报了两个警告，需要处理一下。

1. 处理swappiness

范围： hbase2/hbase3/hbase4

命令：echo 0 > /proc/sys/vm/swappiness

 运行上述命令后，点击：“重新运行”，已解决。

2)升级Psycopg2

 

范围： hbase2/hbase3/hbase4

命令：

yum -y install python-devel mysql-devel zlib-devel openssl-devel gcc-c++ postgresql-devel*

cd /opt

wget https://pypi.python.org/packages/source/p/psycopg2/psycopg2-2.5.4.tar.gz

tar zxvf psycopg2-2.5.4.tar.gz

cd psycopg2-2.5.4

python setup.py build

python setup.py install

运行上述命令后，点击：“重新运行”，已解决。

5.16.8选择服务

我选择了”自定义服务“

也可以在以后需要的时候，再添加服务。

5.16.9自定义角色分配

为了更加均衡的分配资源，我们”按主机查看“一下角色分配的具体情况

尤其要注意zookeeper的选择，至少3个以上

Hbase2的角色比较多，再选择角色的时候，尽量分散开，选择完之后的角色分配情况。

选择好之后，继续进行安装

至此，CDH6.1.0已经成功安装成功了，点击”完成“，主界面就出现了。