完整CDH搭建，适用于Docker下安装CDH
1.1 环境说明
- CentOS 6.9
- JDK 1.8
- CDH 5.14.0
- Cloudera Manager 5.14.0
- MySql 5.1.73
- JDBC mysql-connector-java-5.1.32-bin.jar
1.2 CDH相关下载
cloudera 官网地址
cloudera manager 离线安装的tar包下载地址
cloudera-manager-installer.bin下载地址
CDH下载地址
1.3 虚拟机节点
CDH Server ：cdh-server
CDH agent ：cdh-agnet01
CDH agent ：cdh-agnet02
CDH agent ：cdh-agnet03
CDH agent ：cdh-agnet04
2.1 安装依赖包
使用rpm -qa|grep 包名 检查是否安装
使用 yum install -y 包名 安装
- chkconfig
- python(2.6 required for CDH5)
- bind-utils
- psmisc
- libxslt
- zlib
- sqlite
- cyrus-sasl-plain
- cyrus-sasl-gssapi
- fuse
- portmap(rpcbind)
- fuse-libs
- readhat-lsb
2.2 卸载open jdk
检查 rpm -qa |grep java
查看信息 rpm -e --nodeps 包名
卸载命令
for old in `rpm -qa|grep java`;do rpm -e --nodeps $old;done
2.3 关闭防火强和安装防护
关闭防火墙
service iptables stop
chkconfig iptables off
chkconfig iptables --list
关闭selinux
setenforce 0
vi /etc/selinux/config
SELINUX=disabled
2.4 安装lrzsz【可选，用于文件上传和下载】
yum install -y lrzsz
- rz ：received 接收
- sz ：send 发送
2.5 安装JDK1.8
-- 创建目录并安装
mkdir /usr/java
rpm -ivh /usr/java/jdk
-- 配置环境变量
vim /etc/profile.d/java.sh
export JAVA_HOME=/usr/java/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib/*:$JAVA_HOME/lib/*
-- 加载环境变量
source /etc/profile.d/java.sh
-- 查看java版本（验证）
java -version
2.6 安装NTP时间同步服务
-- 安装
yum -y install ntp
-- 设置开机启动
chkconfig ntpd on
-- 同步时间
ntpdate -u 202.112.92.82
-- 编辑ntp配置信息
vi /etc/ntp.conf
server 202.112.29.82
-- 启动NTP服务
service ntpd start
2.8 修改hsots文件
vi /etc/hosts
192.168.9.101 cdh-agnet01
192.168.9.102 cdh-agnet02
192.168.9.103 cdh-agnet03
... ...
3.1 克隆后操作
-- 克隆后进行以下操作
-- 修改hostname
vi /etc/sysconfig/network
-- 修改ip地址并删除HWARDDR
vi /etc/sysyconfig/network-script/ifcfg-eth0
-- 删除
rm -rf /etc/udev/rules.d/70-persistent-net.rules
3.2 免密钥设置
设置 CDH所有节点相互免密要
-- 安装OpenSSH
yum install -y openssh*
-- 注册openssh服务并启动
chkconfig sshd on
service sshd start
-- 生成公钥和密钥文件
ssh-keygen -t rsa
-- 复制公钥到其他节点
ssh-copy-id cdh-agent01
... ...
4.1 安装mysql
-- 安装mysql
yum -y install mysql mysql-server mysql-devel
-- 启动和开机启动
/etc/init.d/mysqld start
chkconfig mysqld on
4.2 设置mysql远程访问
-- 登录mysql
mysql
-- 使用mysql诗剧苦
use mysql;
-- 重置密码
UPDATE user SET Password=PASSWORD('root') WHERE user='root';
-- 重新加载权限表
FlUSH PRIVILEGES;
-- 更改用户对应某些库的远程权限
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;
4.3 创建数据库
-- 创建hive数据库
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
-- 创建activity monitor数据库
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
5.1 上传CDH相关文件
- manifest.json
- CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel
- CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1
- mysql-connector-java-5.1.32-bin.jar
- cloudera-manager-el6-cm5.14.0_x86_64.tar.gz
5.2 安装CDH并初始化CDH Server
-- 解压
tar zxvf cloudera-manager-el6-cm5.14.0_x86_64.tar.gz -C /opt
-- 拷入mysql驱动包
mv mysql-connector-java-5.1.32-bin.jar /opt/cm-5.14.0/share/cmf/lib/
-- 初始化CDH
/opt/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot --scm-host localhost scm scm scm
5.3 修改Agnet配置文件
此处为CDH Server 中修改
修改config.ini 中server-host为 CDH Server 地址
vi /opt/cm-5.14.0/etc/cloudera-scm-agent/config.ini
server_host=cdh-server
5.4 离线安装包操作
-- 拷贝离线包到指定名录
cp CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel /opt/cloudera/parcel-repo/
[root@cdh-server CDH]# cp CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1 /opt/cloudera/parcel-repo/
[root@cdh-server CDH]# cp manifest.json /opt/cloudera/parcel-repo/
-- 重命名 .sha1 为.sha
mv CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1 CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha
5.5 分发CDH到cdh-agnet
scp -r -p /opt/cm-5.14.0/ cdh-agent01:/opt
scp -r -p /opt/cm-5.14.0/ cdh-agent02:/opt
... ...
5.6 所有节点中创建cloudera-scm用户
useradd --system --home=/opt/cm-5.14.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
usermod -g root cloudera-scm
6.1 启动server节点
/opt/cm-5.14.0/etc/init.d/cloudera-scm-server start
tail -f /opt/cm-5.14.0/log/cloudera-scm-server/cloudera-scm-server.log
6.2 启动所有agent节点
/opt/cm-5.14.0/etc/init.d/cloudera-scm-agent start
7.1 登录cloudera MANAGER
使用浏览器访问 cdh-server:7180
用户名/密码：admin/admin
8.1 集群后续操作
-
复制mysql驱动包到hive/lib中
cp /root/software/install/mysql-connector-java-5.1.26-bin.jar /opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24/lib/hive/lib/ -
选择自定义服务
9.1 报错处理
安装的过程中出现错误：
/opt/cm-5.11.0/lib64/cmf/service/client/deploy-cc.sh: line 115: perl: command not found
yum install -y gcc
wget http://www.cpan.org/src/5.0/perl-5.16.1.tar.gz
tar -xzf perl-5.16.1.tar.gz
cd perl-5.16.1
./Configure -des -Dprefix=/usr/local/perl
make && make test && make install
perl -v
部署hadoop遇到错误：
Cannot create directory /etc/hostname/dfs/nn/curren
解决方法：简单粗暴更改了cdh设置选项中 hadoop安装路径