CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)

前置工作:

在CDH安装之前必须保证NODE1主节点中的以下程序均已启动

  • 1.每台机器:根据aliyun提供的服务进行 时间同步:ntpdate -u ntp6.aliyun.com

     启动服务 
     systemctl start ntpd、systemctl restart ntpd 
     查看是否启动 ps -ef | grep ntpd
     开机启动 systemctl enable ntpd.service 
     查看时间同步状态 ntpstat 
    

    查看时间:

  date 或 timedatectl
  • 2.必须保证MySQL启动了,才能正常启动Cloudera Manager Server:
service mysql start
  • 3.systemctl start httpd 必须保证已启动 httpd

启动httpd服务之后,可以浏览器查看 192.168.88.100/cm6.1/ 和 192.168.88.100/cdh6.1/

  • 4.systemctl start cloudera-scm-server

启动之后需要一段时间才能完全整个启动(一般一分钟之内),才可以访问得到 192.168.88.100:7180/cmf/login

  systemctl stop cloudera-scm-server	
  systemctl restart cloudera-scm-server		

启动Cloudera Manager Server,一般自动启动,无需手动

  • 1.ps -ef | grep cloudera-scm-server 查看是否启动
  • 2.systemctl status cloudera-scm-server 查看启动状态,启动正常显示 Active: active (running)
  • 3.cloudera-scm-server 默认使用的端口 7180,那么就可以通过 192.168.88.100:7180/cmf/login 访问 CM netstat -lnpt | grep 7180 显示 tcp 0 0 0.0.0.0:7180 0.0.0.0:* LISTEN 68289/java

CDH安装

1.CDH集群安装向导

1.通过 192.168.88.100:7180/cmf/login 访问 CM

CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第1张图片

2.可以忽略这个自动TLS自动安装,点击“继续”跳到下一个页面

CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第2张图片

3.输入主机ip或者名称,点击搜索找到主机后点击继续

CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第3张图片

4.选择自定存储库

CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第4张图片

5.使用Parcel选择,点击“更多选项”,点击“-”删除其它所有地址,输入 http://192.168.88.100/cdh6.1.0/ 或 http://192.168.88.100/cdh6.0.0/,点击“保存更改”,点击“继续”

CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第5张图片在这里插入图片描述CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第6张图片CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第7张图片

6.进入下一步 安装jdk,点击“继续”

CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第8张图片

7.进入下一步配置ssh账号密码(均为 itcast),点击“继续”

CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第9张图片

8.进入下一步,安装Cloudera Manager相关到各个节点,等待agent安装完毕后,自动跳转到下一步开始分发parcel,点击“继续”

9.进入下一步主机检查,确保所有检查项均通过。Fayson的机器因为有多个Java版本有一些警告,此步忽略。

1.警告:
从CDH 6开始,PostgreSQL支持的Hue要求Psycopg2版本至少为2.5.4,有关详细信息,请参阅文档。
如果主机不运行CDH 6,或者不使用PostgreSQL运行Hue,或者不兼容RHEL 6,则可以忽略此警告。
以下主机具有不兼容的Psycopg2版本“2.5.1”:
2.解决:

首先安装epel扩展源:yum -y install epel-release
更新完成之后,就可安装pip:yum -y install python-pip
安装完成之后清除cache:yum clean all
更新pip:pip install --upgrade pip
更新psycopg2:pip install --upgrade psycopg2 还是无法解决,暂时忽略
其他:
安装 python3 如下:
yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make
https://www.python.org/ftp/python/3.7.2/Python-3.7.2.tar.xz
tar -xvJf Python-3.7.2.tar.xz
cd /root/Python-3.7.2
./configure prefix=/usr/local/python3
make && make install
ln -s /usr/local/python3/bin/python3 /usr/bin/python
执行python3 -V  看看输出的是不是python3的版本
执行python2 -V 和 python -V 看到的就是python2的版本
如果执行 python -V 是python3的版本的话,需要修改如下情况:
因为执行yum需要python2版本,所以我们还要修改yum的配置,执行 vi /usr/bin/yum 把 #! /usr/bin/python 修改为 #! /usr/bin/python2
同理 vi /usr/libexec/urlgrabber-ext-down 文件里面的 #! /usr/bin/python 也要修改为 #! /usr/bin/python2

10.选择需要安装的服务

CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第10张图片

11.进入集群角色分配

https://www.cloudera.com/documentation/enterprise/6/6.0/topics/cm_ig_host_allocations.html#host_role_assignments

CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第11张图片CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第12张图片
不同组件的分配
CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第13张图片CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第14张图片CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第15张图片

12.测试数据库连接

和前面的MySQL数据库建立的数据库名和用户名密码是相关的

create database metastore default character set utf8;  
CREATE USER 'hive'@'%' IDENTIFIED BY 'password';   
 
create database am default character set utf8;   
CREATE USER 'am'@'%' IDENTIFIED BY 'password';   

CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第16张图片
1.强烈不推荐写bind-address=xxx,那么后面的CDH安装对应的组件时要填写的“数据库主机名称”默认使用主机名。
2.如果/etc/my.cnf中配置了bind-address=localhost 的话,那么在CDH的安装页面中,配置连接数据库的主机名称必须为localhost。
缺点:但是在安装hue时,“数据库主机名称”并无法使用localhost或任何主机名,所以造成无法安装hue
3.不配置 bind-address=localhost 的话,则使用主机名(NDOE1)作为此处的数据库主机名称
4.如果安装impala,在impala daemon节点上还需要安装perl:yum install perl
rpm -qa | grep perl
5.如果安装hue,需要在相关节点上安装python-lxml:yum install python-lxml
rpm -qa | grep python-lxml

13.进入目录设置,此处使用默认目录,根据实际情况进行目录修改(默认不需要修改)

14.正常全部安装:

CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第17张图片CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第18张图片

15.错误一 解决:

CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第19张图片CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第20张图片

Oozie

CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第21张图片CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第22张图片CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第23张图片

1./opt/cloudera/parcels/CDH-6.1.0-1.cdh6.1.0.p0.770702/lib/oozie

CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第24张图片

2./opt/cloudera/parcels/CDH-6.1.0-1.cdh6.1.0.p0.770702/lib/oozie/libext

CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第25张图片

3./var/lib/oozie

CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第26张图片

4.只需要在 oozie service 所在的 node1节点 配置即可

下载ExtJS库(必须是2.2版)ext-2.2 
下载地址

http://archive.cloudera.com/gplextras/misc/ext-2.2.zip

yum install unzip 
unzip /var/lib/oozie/ext-2.2.zip -d /var/lib/oozie
chown -R oozie:oozie /var/lib/oozie/ext-2.2 或 chown -R oozie:oozie /opt/cloudera/parcels/CDH-6.1.0-1.cdh6.1.0.p0.770702/lib/oozie/libext/ext-2.2
chown -R oozie:oozie /var/lib/oozie/ext-2.2.zip 或 chown -R oozie:oozie /opt/cloudera/parcels/CDH-6.1.0-1.cdh6.1.0.p0.770702/lib/oozie/libext/ext-2.2.zip

需要把 mysql-connector-java.jar 和 ext-2.2.zip 也放到 /var/lib/oozie 或 libext 中。
因为 /opt/cloudera/parcels/CDH-6.1.0-1.cdh6.1.0.p0.770702/lib/oozie/libext 软连接到 /var/lib/oozie目录中,所以当在 libext 目录中解压 ext-2.2.zip时,
会自动在 /var/lib/oozie目录中 也同步一份 ext-2.2。
如果是手动安装oozie的话,那么是不存在libext文件夹的,所以也需要 mkdir libext
CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第27张图片

5.Hadoop的core-site.xml:

<!-- OOZIE -->
<property>
		<name>hadoop.proxyuser.[OOZIE_SERVER_USER].hosts</name>
		<value>[OOZIE_SERVER_HOSTNAME]</value>
</property>
<property>
		<name>hadoop.proxyuser.[OOZIE_SERVER_USER].groups</name>
		<value>[USER_GROUPS_THAT_ALLOW_IMPERSONATION]</value>
</property>

CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第28张图片

6.使用Oozie命令行工具检查Oozie的状态:

  • 1.oozie admin -oozie http://node1:11000/oozie -status

    Oozie状态应为System mode: NORMAL
    或者可以尝试 export OOZIE_URL=http://node1:11000/oozie

  • 2.oozie admin -shareliblist

  • 3.oozie admin -status

CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第29张图片

7.oozie web ui:http://node1:11000/oozie/

oozie 使用文档:

http://node1:11000/oozie/docs/

CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第30张图片CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第31张图片

手动安装oozie还要注意以下事情

如果是手动安装oozie而并非CDH安装oozie的话,还需要安装 tomcat

1.tar -zxvf apache-tomcat-7.0.92.tar.gz -C /root
mv apache-tomcat-7.0.92 tomcat

2.vim /etc/profile
第一种写法:
export TOMCAT_HOME=/root/tomcat
    export PATH= P A T H : PATH: PATH:TOMCAT_HOME/bin
第二种写法:
TOMCAT_HOME=/root/tomcat
PATH= J A V A H O M E / b i n : JAVA_HOME/bin: JAVAHOME/bin:PATH:/root/scala/bin:$TOMCAT_HOME/bin
export JAVA_HOME CLASSPATH PATH
source /etc/profile

3.任何路径下执行 startup.sh/shutdown.sh 都可以 启动/关闭 tomcat,执行 jps命令,查看到有 Bootstrap进程名字即表示启动成功

4.可以在 /root/tomcat/logs 查看tomcat的启动日志信息

5.把 hadoop和hcatalog库 拷贝到 /opt/cloudera/parcels/CDH-6.1.0-1.cdh6.1.0.p0.770702/lib/oozie/libext 或 /var/lib/oozie目录中

oozie server默认使用tomcat 6.0.41,而hadoop也有内置的server,如果按照上面两个命令把hadoop依赖的jar包都拷贝过去,
有可能出现冲突,这两个server使用的servlet、jsp版本很可能不一样。
这里需要把这几个jar包删除,不要放到libext中
jasper-compiler-5.5.23.jar
jasper-runtime-5.5.23.jar
jsp-api-2.1.jar

Hue

CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第32张图片CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第33张图片

Impala

CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第34张图片

sqoop1

CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第35张图片CDH6.0、6.1篇:4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)_第36张图片

1.sqoop help
2.sqoop import \
--connect jdbc:mysql://192.168.20.41:3306/adm \
--username root \
--password admin \
--table userPortraitComplete \
--hive-table adm.userPortraitComplete \
--hive-import \
--m 1

你可能感兴趣的:(CDH)