Centos6 安装cdh5.7

Centos6 安装cdh5.7

•  安装前的准备工作

•  JDK环境

版本：jdk-7u79-linux-x64.tar.gz

下载地址：oracle官网（http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260-zhs.html）

安装上 会生成 /usr/local/jdk1.7.0_79

需要建立软连接 ln –s /usr/local/jdk1.7.0_79 /usr/local/java

在来一个 ln –s /usr/local/java /usr/share/java

还来一个 ln -s /usr/local/java /usr/java/jdk1.7

加环境变量

export JAVA_HOME=/usr/local/java

export PATH=${JAVA_HOME}/bin:${PATH}

• mysql连接

http://dev.mysql.com/downloads/connector/j/

mysql-connector-java-5.1.47-bin.jar 我下载的这个

把下载的包放到/usr/local/

并重新命名 mysql-connector-java.jar

• CDH

先下载 cloudera manager安装包 下载地址：http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6- cm5.7.0_x86_64.tar.gz

下载 CDH 安装包（parcel 包）下载地址：http://archive.cloudera.com/cdh5/parcels/5.7.0/

CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel
CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha1

manifest.json

需要上面这3个

•  系统需要做的准备

Ntp 时间 所有机器的时间要一样 （百度吧不会的简单）

Ssh 互相（root用户）

防火墙 selinux都不开（没在考虑范围）

Hosts 里面要有所有服务器的解析 Ip hostname

echo 0 > /proc/sys/vm/swappiness

echo never > /sys/kernel/mm/transparent_hugepage/defrag

自己设置开机启动吧

• 安装cdh

-----------------------------------------------------------manager机器---------------------------------------------------先操作 cloudera-manager 机器

mkdir -p /var/cloudera-scm-server

mkdir -p /opt/cloudera/parcel-repo

tar xf /opt/cloudera-manager-el6-cm5.7.0_x86_64.tar.gz -C /opt/cloudera-manager

把另外一个包放到这/opt/cloudera/parcel-repo（注意把sha1 换成这样sha）

useradd --system --home=/opt/cloudera-manager/cm-5.7.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

chown cloudera-scm:cloudera-scm /var/cloudera-scm-server

chown cloudera-scm:cloudera-scm /opt/cloudera-manager

chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

-------------------------------------------------- manager机器-----------------------------------------------------------

-------------------------------------------------- 所有机器----------------------------------------------------------------

所有机器加用户 cloudera-scm

useradd --system --home=/opt/cloudera-manager/cm-5.7.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

vim /opt/cloudera-manager/cm-5.7.0/etc/cloudera-scm-agent/config.ini

# Hostname of the CM server.

server_host=node2 这个要指向manager的机器的地址 ip 也行

-------------------------------------------------- 所有机器----------------------------------------------------------------

-------------------------------------------------- manager机器-----------------------------------------------------------

在manager的机器指向cm server的数据库初始化

方法一 ：

/opt/cloudera-manager/cm-5.7.0/share/cmf/schema/scm_prepare_database.sh mysql –h1.1.1.1 -uroot –pxxxx --scm-host 2.2.2.2 scm scm scm

上面这个命令需要root权限 没有scm库才执行

方法二：（建议这样，数据库我们有dba管理人家不能给你root给你一个库的权限）

create database scm DEFAULT CHARSET utf8 COLLATE utf8_general_ci; 建库

grant all privileges on scm.* to scm@'node2' identified by 'scm'; 授权

/opt/cloudera-manager/cm-5.7.0/share/cmf/schema/scm_prepare_database.sh mysql -hnode1 --scm-host node2 scm scm scm #node1是数据库的地址 Node2是manager地址 scm库 scm 用户 scm密码

vim /opt/cloudera-manager/cm-5.7.0/etc/cloudera-scm-server/db.properties 看看生成什么

/opt/cloudera-manager/cm-5.7.0/etc/init.d/cloudera-scm-server start 启动服务

如果启动失败需要修改 /etc/init.d/cloudera-scm-server

CMF_DEFAULTS=/opt/cloudera-manager/cm-5.7.0/etc/default

添加系统服务：

cp /opt/cloudera-manager/cm-5.7.0/etc/init.d/cloudera-scm-server /etc/init.d/cloudera-scm-server

chkconfig --add cloudera-scm-server

chkconfig cloudera-scm-server on

-------------------------------------------------- manager机器-----------------------------------------------------------

-------------------------------------------------- 所有机器-----------------------------------------------------------

同理把/opt/cloudera-manager/cm-5.7.0/etc/init.d/下的cloudera-scm-agent 也设置成系统服务并启动

cp cloudera-scm-agent /etc/init.d/

chkconfig --add cloudera-scm-agent

vim /etc/init.d/cloudera-scm-agent 不这样会报启动命令里面的命令找不到路径

CMF_DEFAULTS=/opt/cloudera-manager/cm-5.7.0/etc/default

/etc/init.d/cloudera-scm-agent start 启动

把 /etc/init.d/cloudera-scm-agent 复制到全部机器

vi /opt/cloudera-manager/cm-5.7.0/etc/cloudera-scm-agent/config.ini 注意这个文件 到要指定到manager那台机器

每台都加系统服务和启动

Web页面登录cdh安装其他软件

7180端口访问 manager的机器 admin admin 默认

这里就注意了选择新机器 如果没有安装刚才的agent这里也能安装比咱们上面的简单

下面是版本的选择

到这就安装了一个没有安装agent的机器

选择当前的管理主机

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci; 记得授权数据库

grant all privileges on *.* to hive@'%' identified by 'xxx';

点击测试通过就行

/etc/sudoers里面的Defaults requiretty需要注释掉。

在安装服务界面，执行失败时，点击查看详细信息，会给出这样类似的错误信息。查看/opt/cloudera-manager/cm-5.4.1/run/cloudera-scm-agent/process目录下相关日志。 发现上面这个错误信息是由于JAVA_HOME问题，启动脚本中，JAVA_HOME并不是根据环境变量来获取，而是在它列举的几个目录下寻找，所以只要把你的java路径ln -s过去就行，比如我的 ln -s /usr/local/java /usr/java/jdk1.7

如果还是不行后退一步在下一步

到这manager就完成了安装

添加服务oozie

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci; 建库授权

grant all privileges on *.* to oozie@'%' identified by 'xxxx';

添加kafka服务

有个红色警告

此角色需要在可以启动前激活以下其他 Parcel：[kafka]。

出现上面的返回

报错了不要紧，点到集群主页修改配置 不用点完成上面那个也行

修改完成配置再启动完美解决 所有的记录安装就到这了有问题可以联系我一起来解决

• 更换kafka版本2

https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_kafka 这可以查看版本对应关系

访问cdh控制面板：

点击图标

再点击配置

远程parcel地址点击➕号选择

https://archive.cloudera.com/kafka/parcels/2.0.0/ 加上这个版本的parcel地址 点击保存

在到集群里面点击kafka

 

把服务停止。

在到礼物里面把相应的版本停止

找到新的版本后点击下载 在点激活 ，

/opt/cloudera/parcels/ 多了一个KAFKA的软连接

执行一个命令看看情况:

kafka-topics --zookeeper 10.10.32.21:2181 –describe ip为ZooKeeper

的地址 看Leader：值有没有-1的没有就正常有就有问题了。