单机版本CDH6.3.2搭建教程
单机版本CDH6.3.2搭建教程
已正常安装centos7 虚拟机
安装包
链接：https://pan.baidu.com/s/1ZC7U1pu_5KApQn8JOz1aPQ
提取码：ksic
文档
链接：https://pan.baidu.com/s/1gS_4GLlKClA16ZuBDG1nbA
提取码：zb46
–来自百度网盘超级会员V5的分享
前置准备已经把以下包上传到software目录下。
CentOS7.6操作系统，4核16G最低配置（单机）
设置hostname 主机名称
hostname cdh1
查看ip
Ifconfig
设置所有节点的hosts⽂件
echo “192.168.0.234 cdh1”>> /etc/hosts
关闭所有节点的防⽕墙及清空规则
systemctl stop firewalld
systemctl disable firewalld
iptables -F
关闭所有节点的selinux
vi /etc/selinux/config
将SELINUX=enforcing改为SELINUX=disabled
设置后需要重启才能⽣效
退出保存wq
安裝jdk 和scala
mkdir /usr/java
tar -zxvf jdk-8u212-linux-x64.tar.gz -C /usr/java/
#切记必须修正所属⽤户及⽤户组
chown -R root:root /usr/java/jdk1.8.0_212
echo “export JAVA_HOME=/usr/java/jdk1.8.0_212” >> /etc/profile
echo “export PATH=/usr/java/jdk1.8.0_212/bin:${PATH}” >> /etc/profile
source /etc/profile
which java
安装scala
mkdir /usr/scala
tar -zxvf scala-2.11.12.tgz -C /usr/scala/
echo “export PATH=/usr/scala/scala-2.11.12/bin:${PATH}” >> /etc/profile
source /etc/profile
输入scala弹出如下
Ctrl+c退出
安装mysql5.7.27
先卸载mariadb防止mysql冲突
rpm -qa |grep mariadb
rpm -e --nodeps mariadb-libs-5.5.60-1.el7_5.x86_64
按顺序执行下面五句话安装mysql
rpm -ivh mysql-community-common-5.7.27-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-libs-5.7.27-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-libs-compat-5.7.27-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.27-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-server-5.7.27-1.el7.x86_64.rpm --nodeps --force
查看mysql是否启动
service mysqld status
启动mysql
service mysqld start
停止mysql
service mysqld stop
重启mysql
service mysqld restart
设定开机自启动
vi /etc/rc.local
添加 service mysqld start
确认mysql初始密码
more /var/log/mysqld.log |grep password
登录mysql
mysql -p
修改密码（大写+小写+特殊字符）
mysql> set password = password(“Mysql_123456”);
Query OK, 0 rows affected, 1 warning (0.00 sec)
mysql远程连接配置
grant all privileges on . to root@’%’ identified by “Mysql_123456”;
flush privileges;
Exit;退出
navicat连接mysql。创建所需的元数据数据库。
create database cmf DEFAULT CHARACTER SET utf8;
create database amon DEFAULT CHARACTER SET utf8;
create database hive DEFAULT CHARACTER SET utf8;
create database hue DEFAULT CHARACTER SET utf8;
create database oozie DEFAULT CHARACTER SET utf8;
拷贝jdbc连接包到公共目录，实现jdbc连接msyql
mkdir -p /usr/share/java/
cp mysql-connector-java-5.1.46.jar /usr/share/java/mysql-connector-java.jar
CDH部署
1.离线部署cm server及agent
1.1.所有节点创建⽬录及解压
mkdir /opt/cloudera-manager
tar -xzvf cm6.3.1-redhat7.tar.gz -C /opt/cloudera-manager/
1.2.选择cdh1 为cm server，不下载依赖包直接部署
cd /opt/cloudera-manager/cm6.3.1/RPMS/x86_64
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
1.3.所有节点(包含cdh1)为cm agent，不下载依赖包直接部署
cd /opt/cloudera-manager/cm6.3.1/RPMS/x86_64
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
所有节点修改agent的配置，指向server的节点cdh1
vi /etc/cloudera-scm-agent/config.ini
wq保存退出
主节点修改server的配置:
vi /etc/cloudera-scm-server/db.properties
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=cdh1:3306
com.cloudera.cmf.db.name=cmf
com.cloudera.cmf.db.user=root
com.cloudera.cmf.db.password=Mysql_123456
com.cloudera.cmf.db.setupType=EXTERNAL
注意我把上面的全注释掉了。。 。。。。。。。。。自己粘贴新的
完全离线安装
rpm -ivh mailcap-2.1.41-2.el7.noarch.rpm
rpm -ivh httpd-tools-2.4.6-93.el7.centos.x86_64.rpm
rpm -ivh httpd-2.4.6-93.el7.centos.x86_64.rpm
mkdir -p /var/www/html/cdh6_parcel
拷贝文件
cp
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 manifest.json /var/www/html/cdh6_parcel/
改名校验
mv
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
systemctl start httpd
启动httpd 访问
启动server
systemctl start cloudera-scm-server
查看⽇志:
cd /var/log/cloudera-scm-server/
tail -F cloudera-scm-server.log
Ctrl+c退出
所有节点启动Agent
systemctl start cloudera-scm-agent
登录admin/admin
Hive on spark 优化配置
Hue连接不上解决
yum install php-devel php-pear httpd-devel
Hue连接不上解决
yum install php-devel php-pear httpd-devel