cdh--ClouderaManager安装手册

一、说明

操作系统：CentOS 6.5

JDK版本：1.7.0_67

所需安装包及版本说明：

CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel

CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha

manifest.json

cloudera-manager-el6-cm5.4.3_x86_64.tar.gz

 

Cloudera Manager下载目录

http://www.cloudera.com/downloads/manager/5-4-3.html

CDH下载目录

http://archive.cloudera.com/cdh5/parcels/5.4.0/

CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中

CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1重命名为CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha，这点必须注意，否则，系统会重新下载CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel文件

二、系统环境搭建

1、网络配置(所有节点)

vi /etc/sysconfig/network 修改hostname：

vi /etc/hosts ,修改ip与主机名的对应关系

2、SSH免密码登录

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa --创建公钥

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys --公钥追加到认证文件

3、关闭防火墙

临时关闭：

service iptables stop

重启后生效：

chkconfig iptables off

 

4、关闭SELINUX

临时关闭：

setenforce 0

修改配置文件/etc/selinux/config（重启生效）：

将SELINUX=enforcing改为SELINUX=disabled

 

查看SELINUX状态：

1、/usr/sbin/sestatus –v

SELinux status: enabled（enabled：开启；disabled：关闭）

2、使用命令：getenforce

 

5、安装JDK

rpm -ivh jdk-7u67-linux-x64.rpm

配置环境变量，修改/etc/profile：

export JAVA_HOME=/usr/java/jdk1.7.0_67

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOMdE/lib/dt.jar:$JAVA_HOME/lib/tools.jar

 

生效：

source /etc/profile

 

查看版本： java -version

 

 

 

设置NTP

所有节点安装NTP：

yum install ntp

 

配置开机启动：

chkconfig ntpd on

 

检查是否设置成功：

chkconfig --list ntpd （2-5为on状态则成功）

 

设置同步：

ntpdate -u ntp.sjtu.edu.cn（时钟服务器根据实际环境设置、本文采用210.72.145.44-国家授时中心服务器IP地址）

 

 

7、安装配置MySql

yum install mysql-server

安装完成后

修改mysql权限：

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123' WITH GRANT OPTION;

flush privileges;

 

8、下载依赖包

yum  install -y

• chkconfig
• python (2.6 required for CDH 5)
• bind-utils
• psmisc
• libxslt
• zlib
• sqlite
• cyrus-sasl-plain
• cyrus-sasl-gssapi
• fuse
• portmap
• fuse-libs
• redhat-lsb

 

三、Cloudera Manager Server&Agent安装

1、安装Cloudera Manager Server、Agent

mkdir /opt/cloudera-manager

tar xvzf  cloudera-manager-el6-cm5.4.3_x86_64.tar.gz -C /opt/cloudera-manager/

解压完后进入目录

软件体的目录

修改配置文件 配置CM Agent

vi /opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/ config.ini

修改配置文件的 配置文件的 server_host=本节点名称

 

2、创建用户cloudera-scm【资源 用户 和权限】每台节点都要创建

    useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

    详解：system 系统管理   no-create-home 没有家目录  --shell=/bin/false 禁止用户登陆  也就是进程用户 

 

3、创建Parcel目录

Server节点

mkdir -p /opt/cloudera/parcel-repo

chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

 

Agent节点

mkdir -p /opt/cloudera/parcels

chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

4、配置CM Server数据库

拷贝mysql jar文件到目录 /usr/share/java/

注意jar包名称要修改为mysql-connector-java.jar

 

制作CDH本地源

下载好文件CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel以及manifest.json，将这两个文件放到server节点的/opt/cloudera/parcel-repo下。

打开manifest.json文件，里面是json格式的配置，找到与下载版本相对应的hash码，新建文件，文件名与你的parel包名一致，并加上.sha后缀，将hash码复制到文件中保存。

 

mv /root/{CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel,CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha,manifest.json} ./

 

分发 /opt/cloudera-manager 目录里面的到其他节点

scp -r ./* node02:`pwd`

scp -r ./* node03:`pwd`

 

 

将驱动包拷贝到目录下（注意拷贝过去的驱动包名字一定要和下边的一样，否则会报错）：

cp mysql-connector-java-5.1.31/mysql-connector-java-5.1.31-bin.jar /usr/share/java/mysql-connector-java.jar

        

执行：

         mysql> grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;

         cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema

./scm_prepare_database.sh mysql -h myhost1.sf.cloudera.com -utemp -ptemp --scm-host myhost2.sf.cloudera.com scm scm scm

例如：

./scm_prepare_database.sh mysql -h node1 -utemp -ptemp --scm-host node1 scm scm scm

         （对应于：数据库类型、数据库服务器、用户名、密码、CMServer所在节点…….）

mysql> drop user 'temp'@'%';

         若上步失败或过程中操作中断，删除所有库、重头来过/(ㄒoㄒ)/~~

                  

         若安装Oozie等组件可能需要手动创建对应组件所需的数据库，例如：

create database ooziecm     DEFAULT CHARACTER SET utf8;

grant all on ooziecm.* TO 'ooziecm'@'%' IDENTIFIED BY 'ooziecm';

 

配置最后一步骤：

                启动CM Server、Agent【异步】

               /opt/cloudera-manager/cm-5.4.3/etc/init.d

              执行命令

           ./cloudera-scm-server start

Sever首次启动会自动创建表以及数据，不要立即关闭或重启，否则需要删除所有表及数据重新安装

./cloudera-scm-agent start

启动完成后

http://node01:7180/cmf/login

登陆的用户与密码都是admin

四、CDH5安装

免费版本的CM5已经去除50个节点数量的限制。

各个Agent节点正常启动后，可以在当前管理的主机列表中看到对应的节点。

选择要安装的节点，点继续。

也可以使用搜索功能 给定主机名前提是要有规律

接下来，出现以下包名，说明本地Parcel包配置无误，直接点继续就可以了。

点击，继续，如果配置本地Parcel包无误，那么下图中的已下载，应该是瞬间就完成了，然后就是耐心等待分配过程就行了，大约10多分钟吧，取决于内网网速。

接下来是服务器检查，可能会遇到以下问题：

Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装，但可能会遇到问题，Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响：

通过 echo 0 > /proc/sys/vm/swappiness 即可解决。

接下来是选择安装服务：

测试采用了Hadoop默认，实际按工作环境来定咯~~

服务配置，一般情况下保持默认就可以了（Cloudera Manager会根据机器的配置自动进行配置，如果需要特殊调整，自行进行设置就可以了）：

角色分发的一个指向 规划角色再哪个节点启动

对某一个角色具体的配置

集群里面添加服务

Hive需要关系型数据库

创建数据库 用户 权限赋值

用户名hive 密码也是hive

建库脚本 hive

create database hive     DEFAULT CHARACTER SET utf8;

grant all on hive.* TO 'hive'@'%' IDENTIFIED BY 'hive';

 

安装完成后，就可以进入集群界面看一下集群的当前状况了。

这里可能会出现无法发出查询：对 Service Monitor 的请求超时的错误提示，如果各个组件安装没有问题，一般是因为服务器比较卡导致的，过一会刷新一下页面就好了：

五、脚本

1、MySql建库&&删库

##amon

create database amon      DEFAULT CHARACTER SET utf8;

grant all on amon.* TO 'amon'@'%' IDENTIFIED BY 'amon';

 

##hive

create database hive     DEFAULT CHARACTER SET utf8;

grant all on hive.* TO 'hive'@'%' IDENTIFIED BY 'hive';

 

##oozie

create database oozie     DEFAULT CHARACTER SET utf8;

grant all on oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie';