ubuntu服务器下安装CDH5.8安装部署

一、系统概述

CDH（Cloudera's Distribution, including Apache Hadoop），是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。

Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、HBase、Pig、Hive、Impala、Zookeeper、Solr、Oozie、Hue、Sqoop、Spark服务的安装配置管理做了极大简化。

1.1 系统环境

实验环境：浪潮24核、64G内存、千兆网卡服务器3台以上；

操作系统：Ubuntu14.04；

Cloudera Manager版本：5.8.0

CDH版本: 5.8.0

1.2 安装说明

本项目选择离线安装。

1.3 安装包下载

由于我们的操作系统为Ubuntu14.04，需要下载以下文件：

1> CDH-5.8.0-1.cdh5.8.0.p0.42-trusty.parcel

2> CDH-5.8.0-1.cdh5.8.0.p0.42-trusty.parcel.sha1

3> cloudera-manager-trusty-cm5.8.0_amd64.tar.gz

4> manifest.json

5> mysql-connector-java-6.0.4.jar

二、系统环境搭建

以下操作均用root用户操作，这里以三台机器为例。

2.1 主机配置

修改hostname：

修改ip与主机名的对应关系：

$ vim /etc/hosts

192.168.3.57   CDH01

192.168.3.58   CDH02

192.168.3.59   CDH03

注意：这里需要将每台机器的ip及主机名对应关系都写进去，本机的也要写进去，否则启动Agent的时候会提示hostname解析错误。

2.2 打通SSH

针对所有节点，设置ssh无密码登陆(ubuntu的超级用户，非root)。这里打通的目的纯粹是为了登陆方便，与安装其实是无关的。

在主节点上执行下面命令，一路回车，生成无密码的密钥对：

$ ssh-keygen

然后拷贝到其他节点，命令如下：

$ ssh-copy-id -i ~/.ssh/id_rsa.pub CDH02

此时需要输入一遍密码。

测试：在主节点上ssh CDH02，正常情况下，不需要密码就能直接登陆进去了。

注意：这里只是将主节点和其他节点打通，也可以通过上述方式将集群中的机器相互SSH打通。

2.3 安装JDK(这里要在root和zxapt两个账户下都操作下下面这段,先装root下的，装好后zxapt只需要用下面的config选择一下即可)

在所有节点上安装JDK8版本。下载jdk8，例如解压到/opt

文件夹下。然后修改环境变量：

sudo vim ~/.bashrc

文件末尾加入：

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_60  ## 这里要注意目录要换成自己解压的jdk 目录 

export CLASSPATH=.:${JAVA_HOME}/lib 

export PATH=${JAVA_HOME}/bin:$PATH

生效：

source ~/.bashrc

设置系统默认版本：

update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk1.8.0_60/bin/java 300

update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/jdk1.8.0_60/bin/javac 300

update-alternatives --config java（如果本系统上只有一个JDK则不需配置）

选择JDK8即可

Java -version查看是否修改完成。

2.4 安装配置MySQL

针对主节点安装MySQL数据库，安装命令：

$ apt-get install mysql-server

创建CDH5所需数据库：

$ mysql -uroot -pzxsoft0#

# hive

> create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

# oozie

> create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

# activity monitor

> create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

# hue

> create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

设置root授权访问以上所有的数据库：

# 授权root用户在主节点拥有所有数据库的访问权限

> grant all privileges on *.* to 'root'@'CDH01' identified by 'xxxx' with grant option;flush privileges;

2.5 关闭防火墙

ufw disable

2.6 NTP对时

所有节点安装ntp服务

apt-get install ntp

以三台服务器为例，cdh01,02,03.假设03为主服务器，其他两个为从机。则修改主服务器配置文件/etc/ntp.conf

vim /etc/ntp.conf

19-22/25行屏蔽掉

添加： server 127.127.1.0

fudge 127.127.1.0 stratum 8

注释掉Ubuntu server

从服务器：

vim /etc/ntp.conf

19-22行屏蔽掉

添加：server cdh01（主机端的名称）

注释掉Ubuntu server

保存之后从节点手动对下时间（过几分钟搞）：

ntpdate -u cdh01

三、安装CM的Server和Agent

3.1 解压安装

在主节点上，cloudera manager的目录默认位置在/opt下，解压：

$ tar xzvf cloudera-manager-trusty-cm5.8.0_amd64.tar.gz

将解压后的cm-5.8.0和cloudera目录（自建）放到/opt目录下。

3.2 数据库配置

在所有节点上：

拷贝jdbc的包mysql-connector-java-6.0.4.jar到/usr/share/java/下，并创建软链接:

$ ln -s /usr/share/java/mysql-connector-java-6.0.4.jar /usr/share/java/mysql-connector-java.jar

$ chmod 744 /usr/share/java/mysql-connector-java-6.0.4.jar

在主节点初始化CM5的数据库：

$ /opt/cm-5.8.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pzxsoft0# --scm-host localhost scm scm scm

3.3 Agent配置

修改/opt/cm-5.8.0/etc/cloudera-scm-agent/config.ini中的配置参数server_host为主节点的主机名。

同步Agent到其他节点，即将cm-5.8.0文件夹拷贝到其他从节点的对应文件夹下。

3.4 用户创建

在所有节点创建cloudera-scm用户：

$ useradd --system --home=/opt/cm-5.8.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

3.5 准备Parcels

这里准备Parcels是为了安装CDH5，将CHD5相关的Parcel包拷贝到主节点的/opt/cloudera/parcel-repo/目录中（parcel-repo需要手动创建）。

相关的文件如下：

1> CDH-5.8.0-1.cdh5.8.0.p0.42-trusty.parcel

2> CDH-5.8.0-1.cdh5.8.0.p0.42-trusty.parcel.sha1

3> manifest.json

 

最后将CDH-5.8.0-1.cdh5.8.0.p0.42-trusty.parcel.sha1，重命名为CDH-5.8.0-1.cdh5.8.0.p0.42-trusty.parcel.sha，这点必须注意，否则，系统会重新下载CDH-5.8.0-1.cdh5.8.0.p0.42-trusty.parcel文件。

3.6 系统启动

在主节点上，启动Server：

$ /opt/cm-5.8.0/etc/init.d/cloudera-scm-server start

在所有节点上，启动Agent：(这里注意需要手动先创建一个文件夹)

$ mkdir /opt/cm-5.8.0/run/cloudera-scm-agent

然后再启动

$ /opt/cm-5.8.0/etc/init.d/cloudera-scm-agent start

我们启动的其实是个service脚本，需要停止服务将以上的start参数改为stop就可以了，重启是restart。

3.7 系统配置

Cloudera Manager 系统的Server和Agent都启动以后，就可以进行CDH5的安装配置了。

这时可以通过浏览器访问主节点的7180端口测试一下了（由于CM Server的启动需要花点时间，这里可能要等待一会才能访问），默认的用户名和密码均为admin：

3.8 系统验证测试

在集群的任意一台机器上执行以下模拟Pi的示例程序：

$ sudo -u hdfs hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 100

    或者：

$ sudo -u hdfs hadoop jar /opt/cloudera/parcels/CDH/jars/hadoop-mapreduce-examples-*.jar pi 10 100

执行过程需要花一定的时间，通过YARN的后台也可以看到MapReduce的执行状态：

 

MapReduce执行过程中终端的输出如下：

Number of Maps  = 10

Samples per Map = 100

Wrote input for Map #0

Wrote input for Map #1

Wrote input for Map #2

Wrote input for Map #3

Wrote input for Map #4

Wrote input for Map #5

Wrote input for Map #6

Wrote input for Map #7

Wrote input for Map #8

Wrote input for Map #9

Starting Job

14/10/13 01:15:34 INFO client.RMProxy: Connecting to ResourceManager at n1/192.168.1.161:803214/10/13 01:15:36 INFO input.FileInputFormat: Total input paths to process : 1014/10/13 01:15:37 INFO mapreduce.JobSubmitter: number of splits:1014/10/13 01:15:39 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1413132307582_0001

14/10/13 01:15:40 INFO impl.YarnClientImpl: Submitted application application_1413132307582_0001

14/10/13 01:15:40 INFO mapreduce.Job: The url to track the job: http://n1:8088/proxy/application_1413132307582_0001/14/10/13 01:15:40 INFO mapreduce.Job: Running job: job_1413132307582_0001

14/10/13 01:17:13 INFO mapreduce.Job: Job job_1413132307582_0001 running in uber mode : false14/10/13 01:17:13 INFO mapreduce.Job:  map 0% reduce 0%14/10/13 01:18:02 INFO mapreduce.Job:  map 10% reduce 0%14/10/13 01:18:25 INFO mapreduce.Job:  map 20% reduce 0%14/10/13 01:18:35 INFO mapreduce.Job:  map 30% reduce 0%14/10/13 01:18:45 INFO mapreduce.Job:  map 40% reduce 0%14/10/13 01:18:53 INFO mapreduce.Job:  map 50% reduce 0%14/10/13 01:19:01 INFO mapreduce.Job:  map 60% reduce 0%14/10/13 01:19:09 INFO mapreduce.Job:  map 70% reduce 0%14/10/13 01:19:17 INFO mapreduce.Job:  map 80% reduce 0%14/10/13 01:19:25 INFO mapreduce.Job:  map 90% reduce 0%14/10/13 01:19:33 INFO mapreduce.Job:  map 100% reduce 0%14/10/13 01:19:51 INFO mapreduce.Job:  map 100% reduce 100%14/10/13 01:19:53 INFO mapreduce.Job: Job job_1413132307582_0001 completed successfully

14/10/13 01:19:56 INFO mapreduce.Job: Counters: 49

        File System Counters

                FILE: Number of bytes read=91

                FILE: Number of bytes written=1027765

                FILE: Number of read operations=0

                FILE: Number of large read operations=0

                FILE: Number of write operations=0

                HDFS: Number of bytes read=2560

                HDFS: Number of bytes written=215

                HDFS: Number of read operations=43

                HDFS: Number of large read operations=0

                HDFS: Number of write operations=3

        Job Counters

                Launched map tasks=10

                Launched reduce tasks=1

                Data-local map tasks=10

                Total time spent by all maps in occupied slots (ms)=118215

                Total time spent by all reduces in occupied slots (ms)=11894

                Total time spent by all map tasks (ms)=118215

                Total time spent by all reduce tasks (ms)=11894

                Total vcore-seconds taken by all map tasks=118215

                Total vcore-seconds taken by all reduce tasks=11894

                Total megabyte-seconds taken by all map tasks=121052160

                Total megabyte-seconds taken by all reduce tasks=12179456

        Map-Reduce Framework

                Map input records=10

                Map output records=20

                Map output bytes=180

                Map output materialized bytes=340

                Input split bytes=1380

                Combine input records=0

                Combine output records=0

                Reduce input groups=2

                Reduce shuffle bytes=340

                Reduce input records=20

                Reduce output records=0

                Spilled Records=40

                Shuffled Maps =10

                Failed Shuffles=0

                Merged Map outputs=10

                GC time elapsed (ms)=1269

                CPU time spent (ms)=9530

                Physical memory (bytes) snapshot=3792773120

                Virtual memory (bytes) snapshot=16157274112

                Total committed heap usage (bytes)=2856624128

        Shuffle Errors

                BAD_ID=0

                CONNECTION=0

                IO_ERROR=0

                WRONG_LENGTH=0

                WRONG_MAP=0

                WRONG_REDUCE=0

        File Input Format Counters

                Bytes Read=1180

        File Output Format Counters

                Bytes Written=97

Job Finished in 262.659 seconds

Estimated value of Pi is 3.14800000000000000000

3.9 检查Hue

首次登陆Hue会让设置一个初试的用户名和密码，设置好，登陆到后台，会做一次检查，一切正常后会提示：

 

到这里表明我们的集群可以使用了。

四、系统部署问题

4.1 Hive和Oozie依赖包缺失

Hive和Oozie所依赖的JDBC包没有，需要拷贝和添加软连接来解决。注意：在所有机器上，需要将mysql驱动拷贝到/usr/share/java/目录下，然后创建软链接。

$ ln -s /usr/share/java/mysql-connector-java-6.0.4.jar /usr/share/java/mysql-connector-java.jar

$ chmod 744 /usr/share/java/mysql-connector-java-6.0.4.jar

 

4.2 Python依赖包libxslt-python缺失

在所有机器上执行下面命令安装：

$ apt-get install install libxslt-python*

 

4.3 服务器端配置警告

按照系统提示修改。

4.4 显示节点不全

Agent启动后，安装阶段“当前管理的主机”中显示的节点不全，每次刷新显示的都不一样。

Agent的错误日志表现如下：

[18/Nov/2014 21:12:56 +0000] 22681 MainThread agent ERROR Heartbeating to master:7182 failed.

Traceback (most recent call last):

  File "/home/opt/cm-5.8.0/lib64/cmf/agent/src/cmf/agent.py", line 820, in send_heartbeat

    response = self.requestor.request('heartbeat', dict(request=heartbeat))

  File "/home/opt/cm-5.8.0/lib64/cmf/agent/build/env/lib/python2.6/site-packages/avro-1.6.3-py2.6.egg/avro/ipc.py", line 139, in request

    return self.issue_request(call_request, message_name, request_datum)

  File "/home/opt/cm-5.8.0/lib64/cmf/agent/build/env/lib/python2.6/site-packages/avro-1.6.3-py2.6.egg/avro/ipc.py", line 255, in issue_request

    return self.read_call_response(message_name, buffer_decoder)

  File "/home/opt/cm-5.8.0/lib64/cmf/agent/build/env/lib/python2.6/site-packages/avro-1.6.3-py2.6.egg/avro/ipc.py", line 235, in read_call_response

    raise self.read_error(writers_schema, readers_schema, decoder)

  File "/home/opt/cm-5.8.0/lib64/cmf/agent/build/env/lib/python2.6/site-packages/avro-1.6.3-py2.6.egg/avro/ipc.py", line 244, in read_error

    return AvroRemoteException(datum_reader.read(decoder))

  File "/home/opt/cm-5.8.0/lib64/cmf/agent/build/env/lib/python2.6/site-packages/avro-1.6.3-py2.6.egg/avro/io.py", line 444, in read

    return self.read_data(self.writers_schema, self.readers_schema, decoder)

  File "/home/opt/cm-5.8.0/lib64/cmf/agent/build/env/lib/python2.6/site-packages/avro-1.6.3-py2.6.egg/avro/io.py", line 448, in read_data

    if not DatumReader.match_schemas(writers_schema, readers_schema):

  File "/home/opt/cm-5.8.0/lib64/cmf/agent/build/env/lib/python2.6/site-packages/avro-1.6.3-py2.6.egg/avro/io.py", line 379, in match_schemas

    w_type = writers_schema.type

AttributeError: 'NoneType' object has no attribute 'type'

这是由于在主节点上启动了Agent后，又将Agent scp到了其他节点上导致的，首次启动Agent，它会生成一个uuid，路径为：/opt/cm-5.8.0/lib/cloudera-scm-agent/uuid,这样的话每台机器上的Agent的uuid都是一样的了，就会出现紊乱的情况。

解决方案：

删除/opt/cm-5.8.0/lib/cloudera-scm-agent/目录下的所有文件，并清空主节点CM数据库。