1 准备节点
Ø Ubuntu 14.0.5 Desktop
Ø JDK:1.8.0_161
Ø cloudera-manager-trusty-cm5.14.0_amd64.tar
Ø CDH-5.14.0-1.cdh5.14.0.p0.24-trusty.parcel
Ø CDH-5.14.0-1.cdh5.14.0.p0.24-trusty.parcel.sha1
Ø Manifest.json
Ø MySQL:5.5.5(系统安装)
Ø MySQLConnector
Ø修改本机hosts文件以及hostname文件
Hostname文件定义了本机的主机名称,hosts中定义了局域网内不同主机名称与IP的绑定关系
vim /etc/hostname
#写入对应的节点名称 如主节点为master,子节点为cluster1
vim /etc/hosts
#写入 将 ubuntu 节点去掉
192.168.145.129 master
192.168.145.130 cluster1
需要重启
在各节点安装openssh-server,方便后续机器配置以及机器间文件和信息的传输。
apt-get install openssh-server
#修改各个节点的SSH配置文件
vim /etc/ssh/sshd_config
#修改 PermitRootLogin 节点值为yes
PermitRootLogin yes
#重启服务
/etc/init.d/ssh restart
#主节点配置无密码登陆
ssh-keygen -t rsa -P ‘’
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
#将id_rsa.pub文件发送到各个子节点
scp /root/.ssh/id_rsa.pub root@节点名称:/root/.ssh/
#将host文件发送到各个子节点
scp /etc/hosts root@节点名称:/etc
#各个子节点操作
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
#测试登陆
(JDK 安装包通过上述的ssh 进行传输到本机)
vim /etc/profile
#输入内容
export JAVA_HOME=/opt/dev/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
#通过ssh 将java包以及profile文件发送到各个节点
scp -r /opt/dev/jdk1.8.0_162 root@节点名称: /opt/dev
scp /etc/profile root@节点名称:/etc
#各个节点执行命令,测试
Source /etc/profile
Java -version
/etc/init.d/ssh start
执行即可解决
apt-get install mysql-server
vim /etc/mysql/my.cnf
#修改内容 将bind-address 注释掉
Ø 数据库
l Web管理数据库 cmf
l 监控数据库 monitor
l Hive数据库 hive
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database cmf DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database rman DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
并使用如下命令对MySQL用户进行赋权。
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'password' WITH GRANT OPTION;
FLUSH PRIVILEGES;
/etc/init.d/mysql start
执行即可解决
错误描述如下:can'tconnect to local mysql server through socket '/var/run/mysqld/mysqld.sock'
解决方案:/var/run/mysqld缺少权限需要进行赋权。
chown -R mysql:mysql /var/run/mysqld
/etc/init.d/mysql start
cd /opt
mkdir cloudera
mkdir cloudera-manager
cd cloudera
mkdir parcels
mkdir parcel-repo
目录创建完成后将文件分别转移或者解压到指定的文件目录中
Øcloudera/parcel-repo
将下载的.parcel\.parcel.sha1\manifest.json文件存储在该目录下,并将.parcel.sha1文件重名为.parcel.sha
Øcloudera-manager
将cloudera-manager的tar文件解压缩到该目录下
cd /opt/cloudera-manage/cm-5.14.0
vim /etc/cloudera-scm-agent/config.ini
#将server_host 修改为你定义的主机名 如master
scp -r /opt root@节点名称:/
useradd --system --home=/opt/cloudera-manager/cm-5.14.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
chown -R cloudera-scm:cloudera-scm /opt
执行命令前需要将MySQL的驱动复制到/opt/cloudera-manager/cm-5.14.0/share/cmf/lib下
/opt/cloudera-manager/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh mysql -hmaster --scm-host master cmf usrname password
命令说明:/opt/cm-5.13.1/share/cmf/schema/scm_prepare_database.sh 数据库类型 -h数据库主机 --scm-host cm主机 数据库名称 用户名 密码
cd /opt/cloudera-manage/cm-5.14.0
/etc/init.d/cloudera-scm-agent start #status 查看状态
cd /opt/cloudera-manage/cm-5.14.0
/etc/init.d/cloudera-scm-server start #status 查看状态
如有发现错误,检查/opt/cloudera-manage/cm-5.14.0/log下的日志。登陆cloudera-manager管理界面完成后续配置。http://主机名称:7180, 账户名称和密码默认均为admin
apt-get install language-pack-zh-hans
vim /etc/enrivonment
#添加或者修改如下内容
LANG="zh_CN.UTF-8"
LANGUAGE="zh_CN:zh:en_US:en"
vim /var/lib/locales/supported.d/local
#添加或修改以下内容
en_US.UTF-8 UTF-8
zh_CN.UTF-8 UTF-8
zh_CN.GBK GBK
zh_CN GB2312
locale-gen
cd /opt/cloudera-manager/cm-5.14.0
#删除Agent节点的UUID相关文件
rm -rf lib/cloudera-scm-agent/*
#删除cloudera-manager数据库并重建
drop database cmf;
create database cmf DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
#重新配置数据库
/opt/cloudera-manager/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh mysql -hmaster --scm-host master cmf usrname password
#启动服务以及代理
#定位问题主机节点执行如下操作
cd /opt/cloudera-manager/cm-5.14.0
#删除Agent节点的UUID相关文件
rm -rf lib/cloudera-scm-agent/cm_guid
#重启服务 不必刷新界面
/etc/init.d/cloudera-scm-agent restart
问题原因:缺少MySQL驱动
解决方案:将MySQL的驱动复制到/opt/cloudera/CDH-5.14.0-1.cdh5.14.0.p0.24/parcels/lib/hive/lib下,再次运行即可。
问题原因:代理启动时间差别太久
解决方案:问题节点的代理服务重新启动
解决方案 web页已经给出