CDH大数据安装手册--基础环境准备

CDH大数据安装手册

1.基础环境准备

机器硬件配置

操作系统要求CentOS7.4。

安装介质说明

除了系统自带的OS源，我们会把其他安装包整合到一个独立的源。所有服务器都会使用该源，方便统一管理。

该源会包括

--Cloudera Manager 5.11.2

--CDH 5.11.2 Parcel

--Cloudera Manager所需依赖包

--mysql-connector-java-5.1.46.tar.gz

-]其他工具

Yum源和parcel下载文件配置

在1号机 (host1)进行以下操作

--复制centos base，Cloudera Manager yum源和CDH parcel到apache httpd目录 (/var/www/html) 并建立yum源。这里CDH_install_repos为预先下载的yum源，依赖包，和parcel安装文件。/YOUR_BASE_YUM 为手动下载的CentOS源

--安装和启动所需服务和功能。

--配置源文件。(建议用hostname或fqdn)

cat>/etc/yum.repos.d/cloudera-manager.repo<

[cloudera-manager]

name= cloudera-manager

baseurl=http://host1/cm

gpgkey = http://host1/cm/RPM-GPG-KEY-cloudera    

gpgcheck = 0

EOF

--查看httpd服务时否正常启动,  用浏览器打开以下连接。

http:// host1/cm

系统设置

Hostname配置

--确认每台机器/etc/hostname都有正确hostname

--确认/etc/hosts里面已正确配置所有机器的ip和hostname

--MySQL数据库（主）机器名暂定为mysql-host, ip地址为10.53.5.91 (host1), 故在/etc/hosts里面需为10.53.5.91增加以下信息

192.168.0.1   host1 mysql-host

时区设置

--查看每台机器的时区，命令：timedatectl

--默认是美国时区，修改成中国时区，命令：timedatectl set-timezone Asia/Shanghai

--用date命令查看时间可以看到时区，但是没有timedatectl的信息全，所以尽量两个命令都用一下，安装cdh过程中，如果各个主机时区不一样会有提示；但是如果安装好了cdh，再改时区，不会有提示，所以先设置好时区再安装cdh，避免不必要的问题；

集群节点互信通信认证

1）生成key

在主节点执行如下命令：

# cd ~

# ssh-keygen -t rsa

# cd .ssh

# cat *.pub > authorized_keys

在各分节点执行如下命令：

# cd ~

# ssh-keygen -t rsa

# ssh-copy-id -i 【主节点】

在主节点授权authorized_keys文件：

# chmod 600 authorized_keys

2）KEY分发

需要在主节点配置其他全部分节点，在主节点执行如下命令：

# scp /root/.ssh/authorized_keys 【分节点】:/root/.ssh/

# scp /root/.ssh/authorized_keys 【分节点】:/root/.ssh/

# scp /root/.ssh/authorized_keys 【分节点】:/root/.ssh/

3）SSH登录操作

配置好公钥后，需要分别用户主机名或ip地址互相 ssh 登录一下,确认是否可以免密登录。

登录命令如：

# ssh 【用户名】@【主机】

为所有节点配置yum源

在yum源所在机器（1号机）上执行以下命令，把yum源配置发布到其他所有机器.

for i in {2..6}

do

  sudo rm -f /etc/yum.repos.d/*.repo

  sudo scp /etc/yum.repos.d/cloudera-manager.repo 192.168.1.${i}:/etc/yum.repos.d/

done

复制mysql connector jar

把mysql connector jar复制到所有机器。

假设jar所在路径为/YOUR_DOWNLOAD_PATH,

NTP服务配置

--在1号机上安装ntp server

yum install ntp -y #安装ntp

systemctl enable ntpd #配置开机自启动

systemctl start ntpd #启动ntp

修改/etc/ntp.conf，

--只留一句restrict 10.96.109.0 mask 255.255.255.0 nomodify notrap

--添加server 127.127.1.0 iburst

--添加fudge 127.127.1.0 stratum 8

--添加logfile /var/log/ntp.log

重启ntp: 执行service ntpd restart

测试：运行命令ntpq -p

--其他机器：

部署/etc/ntp.conf, 文件内容如下

restrict 10.96.109.0 mask 255.255.255.0 nomodify notrap

server 192.168.0.1 iburst

includefile /etc/ntp/crypto/pw

keys /etc/ntp/keys

#或者从2号机抄ntp.conf

#禁用timedatectl:

timedatectl set-ntp false

#同步ntp

ntpdate -q 192.168.0.1

ntpdate -d 192.168.0.1

#重启服务：

service ntpd restart

添加cronjob 每1小时运行一次ntpdate -q 192.168.0.1

清理openjdk

在所有机器上执行

rpm -e java-1.8.0-openjdk --nodeps

rpm -e java-1.8.0-openjdk-headless --nodeps

其他参数配置

在所有服务器执行以下操作：

Sudo权限：执行命令“visudo”并添加以下sudo rule

%cloudera-scm ALL=(ALL) NOPASSWD: ALL

修改swappiness参数。CDH建议值为1到10之间。执行以下命令，把该值设为1：

vm.swappiness=1

--禁止Transparent Huge Page Compaction。执行以下命令

cat >> /etc/rc.local << EOF

#!/bin/bash

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

EOF

chmod 755 /etc/rc.local

chmod 755 /etc/rc.d/rc.local

--关闭防火墙。

sudo service iptables stop

sudo chkconfig iptables off

sudo chkconfig iptables –list

#注意：需要清空iptables

iptables -F

sudo systemctl stop firewalld.service

sudo systemctl disable firewalld.service

--禁止selinux。执行以下命令：

if [ -f /etc/selinux/config.backup ]

then

  echo "Skipping backup..."

else

  cp /etc/selinux/config /etc/selinux/config.backup

fi

sed -e "s/^SELINUX.*/SELINUX=disabled/g" /etc/selinux/config.backup > /etc/selinux/config

--重启服务器。执行命令 “reboot”

--检查配置是否生效。

[root@ha-node1 ~]# getenforce

Disabled

[root@ha-node1 ~]# cat /sys/kernel/mm/transparent_hugepage/defrag

never

[root@ha-node1 ~]# cat /sys/kernel/mm/transparent_hugepage/enabled

never

MySQL安装

--删除操作系统自带的mariadb组件的步骤如下：

rpm -qa | grep mariadb

rpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_64

--解压安装包

tar -vxf mysql-5.7.17-1.el7.x86_64.rpm-bundle.tar

--安装MySQL，按以下顺序安装 

rpm -ivh mysql-community-common-5.7.17-1.el7.x86_64.rpm   

rpm -ivh mysql-community-libs-5.7.17-1.el7.x86_64.rpm   

rpm -ivh mysql-community-client-5.7.17-1.el7.x86_64.rpm  

rpm -ivh mysql-community-server-5.7.17-1.el7.x86_64.rpm  

rpm -ivh mysql-community-devel-5.7.17-1.el7.x86_64.rpm  

--编辑主、备节点的配置文件 /etc/my.cnf，编辑后重启MySQL

修改配置文件后，重新启动MySQL

#禁止MySQL开机自启动

systemctl disable mysqld

#手动启动MySQL

systemctl start mysqld

#查看初始管理员密码；

grep 'temporary password' /var/log/mysqld.log  

mysql -uroot -p

#随后输入密码，不提供回显

#允许内网登陆root用户

ALTER USER 'root'@'localhost' IDENTIFIED BY 'password';

# 允许root用户从内网登陆，10.x.x.% 是假定的内网网段，其中百分号是通配符

GRANT ALL PRIVILEGES ON *.* TO 'root'@'10.x.x.%' IDENTIFIED BY 'password' WITH GRANT OPTION;

FLUSH PRIVILEGES；

--]新建用户和数据库。(预设密码为”password”）

到此，cdh基本环境配置好了，接下来继续讲如何安装cdh并做配置。