cdh6.2离线安装（傻瓜式安装教程）

CDH6.2离线安装流程

1 安装准备

1.1 cdh6.2

下载方式一：
官网下载
https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/

都下载下来
https://archive.cloudera.com/cdh6/6.2.0/parcels/

只要el7.parcel 和 el7.parcel.sha1
下载式二：
百度网盘
https://pan.baidu.com/s/1QlWyMRSRJNcaStsZMSdmLg

提取码：ietj

1.2 centos7

方式一：
官网下载
http://vault.centos.org/

我这边选择的是1804，点进去：

选择isos

选择x86_64

我这边选择的是
CentOS-7-x86_64-DVD-1804.torrent 这只是个BT种子，我是用百度网盘对其解析下载的（迅雷等工具也可以）
方式二：
百度网盘
https://pan.baidu.com/s/1MHwLT0X39O0EpIeDgqDeJw

提取码：v1rj

2 环境准备

2.1 修改 vi /etc/hosts（每个节点）

vi /etc/hosts 修改完后按ESC再输入 :wq！ 退出编辑

修改完后ping一下主机名 查看是否成功

ping n77.aa-data.cn

在所有节点都对其他节点都依次ping下，如果ping不通请检查下 /etc/hosts下的IP或者主机名是否有错，如若还不行请检查下静态IP是否设置有误

2.2 关闭防火墙、禁止防火墙开机自启(每个节点)

ystemctl stop firewalld 关闭防火墙

systemctl disable firewalld 禁止防火墙开机自启

vi /etc/selinux/config —> SELINUX=disabled (修改)

2.3 ssh无密码登录

manager节点执行ssh-keygen -t rsa 一路回车到结束，在/root/.ssh/下面会生成一个公钥文件id_rsa.pub

将公钥追加到authorized_keys
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 600 ~/.ssh/authorized_keys 修改权限
将~/.ssh从当前节点分发到其他各个节点。如：
scp -r ~/.ssh/ [email protected]:~/.ssh/

[email protected]：当前需要分发的用户及其主机名

密码为系统当前用户的登陆密码

各个节点之间相互ssh一遍

检验：全都ssh一遍后 再次ssh将不再需要输入其他指令

2.4 配置NTP服务（所有节点）

修改时区（改为中国标准时区）ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime（如果在安装centos时指定过了 这一步就不用了）

yum -y install ntp 安装ntp

ntp主机配置 vi /etc/ntp.conf

manager节点 如果有时间服务器 请指向时间服务器

其余节点

重新启动 ntp 服务：service ntpd restart

设置开机自启：systemctl enable ntpd.service

ntpdc -c loopinfo #查看与时间同步服务器的时间偏差

ntpq -p #查看当前同步的时间服务器

ntpstat #查看状态

定时同步crontab
crontab -e
10 * * * * /usr/sbin/ntpdate n47.aa-data.cn

2.5 修改Linux swappiness参数(所有节点）

为了避免服务器使用swap功能而影响服务器性能，一般都会把vm.swappiness修改为0（cloudera建议10以下）

echo 0 > /proc/sys/vm/swappiness 临时改变

在最后一行添加如下配置：

echo vm.swappiness=0 >> /etc/sysctl.conf

上述方法rhel6有效，rhel7.2中:tuned服务会动态调整系统参数

查找tuned中配置，直接修改配置

cd /usr/lib/tuned/

grep “vm.swappiness” * -R 查询出后依次修改

依次 vi 将vm.swappiness 修改为0
vi latency-performance/tuned.conf
vi throughput-performance/tuned.conf
vi virtual-guest/tuned.conf

2.6 禁用透明页(所有节点）

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
注意：先在每个节点执行上两句后 在添加下面命令
永久生效 在/etc/rc.local 添加上面命令
vi /etc/rc.local

3 cm6安装

3.1 将下载下来的cm6 cdh 上传到clouder-manager 主节点的/root下（目录随意）

3.2 配置本地服务器（选定任意一台主机即可）

yum install -y httpd 安装httpd

service httpd start 启用htttpd

打开浏览器输入选定主机的ip验证：出现以下界面及配置成功

cd /var/www/html/

进入到这个目录下 创建我们的数据源 之后其他节点可以从这直接下载

mkdir cm6 mkdir cdh6

将cdh6.2.0中的rmp包放入cm6下

cp /root/cdh6.2.0/cm6/*.rpm /var/www/html/cm6/

将allkeys.asc放入cm6下

cp /root/cdh6.2.0/cm6/allkeys.asc /var/www/html/cm6/

登陆192.168.2.76/cm6 查验

将cdh6.2.0下的parcel* 和manifast.json放入cdh6

cp /root/cdh6.2.0/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel* /var/www/html/cdh6/

cp /root/cdh6.2.0/parcels/manifest.json /var/www/html/cdh6/

登陆192.168.2.76/cdh6

生成源 制定yum源的描述的目录信息 可以让其他节点知道到这里下载

yum install -y createrepo 下载createrepo命令

进入到cm6安装包的httpd资源位置
cd /var/www/html/cm6

创建yum源的描述meta

createrepo .

在所有节点上添加yum源的配置文件
cat >> /etc/yum.repos.d/cm6.repo << EOF
[cm6-local]
name=cm6-local
baseurl=http://n47.aa-data.cn/cm6
enabled=1
gpgcheck=0
EOF

查看yum配置源是否生效
yum clean all
yum repolist

4 clouder server 与agent安装

4.1 安装cm6相关依赖（所有节点）

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb httpd mod_ssl

4.2 安装cloudera-manager 管理节点

安装cloudera-manager-server cloudera-manager-server-db-2 cloudera-manager-daemons cloudera-manager-agent

先安装jdk

yum install -y oracle-j2sdk1.8-1.8.0+update181-1.x86_64

在安装cloudera-manager-*

yum install -y cloudera-manager-daemons cloudera-manager-server cloudera-manager-server-db-2 postgresql-server

4.3 安装mysql（选一台主机安装即可）

yum install -y mysql mysql-devel

yum install -y mariadb mariadb-server

service mariadb start 启动数据库服务

chkconfig mariadb on 设置开机自启动

初始化mariadb密码
/usr/bin/mysql_secure_installation 一直回车 遇[Y/n]输入y
设置密码


初始化管理节点数据库

mkdir -p /usr/share/java
mv /root/cdh6.2.0/mysql5.7/mysql-connector-java-5.1.34.jar /usr/share/java/mysql-connector-java.jar（这里需要分发到所有节点）

执行数据库初始脚本
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -h localhost -uroot -proot --scm-host localhost scm scm scm

4.4 安装agent

先安装jdk
yum install -y oracle-j2sdk1.8-1.8.0+update181-1.x86_64

在安装agent 这里稍微等待会儿
yum install -y cloudera-manager-daemons cloudera-manager-agent

修改所有节点上的agent配置，让agent指向cloudera-manager

vi /etc/cloudera-scm-agent/config.ini

启动clouder-manager和agent

在clouder-manager节点上启动

service cloudera-scm-server start 启动main服务

chkconfig cloudera-scm-server on 设置开机自启动

在所有节点启动agent

service cloudera-scm-agent start 启动agent服务

chkconfig cloudera-scm-agent on 设置开机自启动

5 登陆web页面

5.1 添加集群

输入cloudera-manager所在的节点ip货主机名：7180

http://192.168.2.76:7180/

初始账户：admin 密码：admin

登陆账号密码，点击登陆

点击继续后：

点击继续后：

之后稍稍等一会儿，这里加载可能会有点慢

给集群命名

指定主机

选择存储库

指定我们自己的cdh包裹

等待刷新

Jdk我们之前自己安装过了所以直接下一步就好

提供ssh登陆

安装代理

等待安装包裹 这里时间稍稍有点长

检查集群

选择服务（如果你确保自己已知晓如何添加服务，可以选择套餐安装）

分配角色

数据库设置（之后有需要数据库设置的服务请参考此方法）

登陆mysql

创建普通用户

create user datauser identified by ‘datasuer’;

给datauser开启metastore访问权限（spark兼容hive）
grant all privileges on metastore.* to ‘datauser’@’%’ identified by ‘datauser’ with grant option;
flush privileges;

创建数据库

create database activity default charset utf8;

允许mysql远程登陆

grant all privileges on activity.* To datauser@’%'identified by ‘datauser’;

刷新权限

flush privileges;


审核更改

命令详细

安装成功

进入到集群管理界面

5.2 添加服务

namenode高可用

将Hue配置为使用HDFS HA

1添加HttpFS角色。
2命令完成后，转到Hue服务。
3单击配置选项卡。
4找到HDFS Web界面角色属性或通过在搜索框中键入其名称来搜索它。
5选择您刚创建的HttpFS角色而不是NameNode角色，然后保存更改。
6重新启动Hue服务。