centos7-离线安装CDH-01

CentOS的el5, el6, el7代表什么

EL是Red Hat E nterprise L inux（EL）的缩写。

EL6是Red Hat 6.x，CentOS 6.x和CloudLinux 6.x的下载。
EL5是Red Hat 5.x，CentOS 5.x和CloudLinux 5.x的下载。
EL7是Red Hat 7.x，CentOS 7.x和CloudLinux 7.x的下载

将服务器的gateway配置项打开

防止出现gateway不适用的情况

服务器端口开放（路由器端口开放）和防火墙端口开放

80，3306，9000，8080，50070，45536，4040，7070，2181，8088，8020，8485，2888，3888，16010，9000，8081，8042，9092，7077，6066，8081，8888，16000，16020，25020，25010，25000，21050等端口

安装NFS相关的依赖包，启动NFS（可选）

1.安装nfs-utils

yum install nfs-utils

rpm -qa |grep nfs

2.安装rpcbind

rpm -qa |grep rpcbind

4.2.启动NFS相关服务

1.启动rpcbind服务

systemctl start rpcbind
systemctl status rpcbind

2.启动nfs服务

systemctl start nfs
systemctl status nfs

3.设置开机启动

systemctl enable rpcbind.service

systemctl enable /usr/lib/systemd/system/nfs-server.service

准备

准备3个节点node6,node7,node8，node6作为主节点

共3台充当agent,其中node6又充当server

node6 内存6G， node7-8 内存2G，内存分配很关键，只可多，不可少

说明

操作系统：CentOS 7.x

JDK 版本：1.8.0_162

所需安装包及版本说明：

CDH  parcel下载目录

http://archive.cloudera.com/cdh5/parcels/5.14.2/

CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel

CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha1

manifest.json 

Cloudera Manager 下载目录

http://archive.cloudera.com/cm5/cm/5/

cloudera-manager-centos7-cm5.14.2_x86_64.tar.gz

 

准备工作

1.网络配置，所有节点

修改ip和主机名对应关系

阿里云服务器之间通过内网（私有）IP进行访问，通过公网IP登录命令行或者图形界面进行操作，实际使用过程中，服务器之间的内部通信通过内网

vi /etc/sysconfig/network 修改 hostname：

HOSTNAME=node6

HOSTNAME=node7

HOSTNAME=node8

通过 service network restart 重启网络服务生效

vi /etc/hosts ,修改 ip 与主机名的对应关系

node6]# ，node7]# ，node8]# vi /etc/hosts

192.168.149.136 node6

192.168.149.137 node7

192.168.149.138 node8

 

2.ssh免密码登录操作，针对所有节点互相通信

所有节点执行下面两条命令

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

node6执行

node6~]# cd ~/.ssh

node6.ssh]# scp ./id_dsa.pub root@node8:/opt/

node6.ssh]# scp ./id_dsa.pub root@node9:/opt/

node7~]# cat /opt/id_dsa.pub >> ~/.ssh/authorized_keys

node8 ~]# cat /opt/id_dsa.pub >> ~/.ssh/authorized_keys

node6测试

node6~]# ssh node7

exit

node6~]# ssh node8

exit

node7、node8重复执行node6步骤，节点相应变化

 

3.防火墙关闭，所有节点

centos6.x

    临时生效：

        service iptables stop

    重启后生效：

        chkconfig iptables off

    查看状态：

        chkconfig iptables status

centos7.x   

开启防火墙           systemctl start firewalld.service

关闭防火墙           systemctl stop firewalld.service

禁用防火墙           systemctl disable firewalld.service

在开启状态下，添加端口              firewall-cmd --zone=public --add-port=9001/tcp --permanent

在开启状态下，查看端口              firewall-cmd --list-ports

4.selinux关闭，所有节点

（阿里云服务器默认关闭）

setenforce 0

vi /etc/selinux/config

SELINUX=disabled

重启查看selinux状态，查看命令

/usr/sbin/sestatus -v

表示成功

5.安装jdk 所有节点

jdk-64-linux-centos7下安装教程

java -version

javac -version

 

6.时间同步，所有节点（时间服务器网络上有）

（阿里云服务器时间同步）

所有节点安装 NTP

yum install ntp

设置同步

ntpdate time.nist.gov

配置开机启动

chkconfig ntpd on

检查是否配置成功

chkconfig --list ntpd

2-5的状态为on则说明配置成功

 

7.数据库服务器的支撑，mysql安装在node6（server节点上）

只需要配置master节点的Mysql即可。

rpm -qa|grep mariadb

--找到是否有mariadb存在，要删除，否则安装mysql server会报conflict 冲突的问题

rpm -e --nodeps mariadb*

--如果有mariadb包，就删掉

详见MySQL源码安装方式

CDH搭建过程中如果没有将mysql库下的user表中的非%开始的记录删掉，则会影响MySQL的权限

 

八、所有节点下载依赖包

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain syrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb

九、配置yum源，防止依赖包下载不了的时候操作（备用操作，可选）

selinux]# cat /etc/yum.repos.d/local.repo

[base]

name=CentOS

failovermethod=priority

baseurl=http://192.168.183.103

gpgcheck=1

enabled=1

 

清空yum缓存

yum clean all

重新生成缓存

yum makecache