CDH5.16.1安装kafka

CDH5.16.1安装kafka

1.简介:

CDH的parcel包中是没有kafka的，需要从新下载parcel包安装。或者在线安装，但是在线安装都很慢，这里使用下载parcel包离线安装的方式。

kafka有很多版本，CDH也有很多版本,所以需要确定自己所需要的对应版本,下面的链接可以查看自己cdh的对应kafka版本:

https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_kafka

我的CDH是5.16.0，都支持kafka2.1.x的，所以我挑了个折中的3.0.0版本,大家可根据自己的情况选择.

2.安装准备

1.kafka csd包

下载地址：http://archive.cloudera.com/csds/kafka/

2.kafka parcel包：

下载地址:http://archive.cloudera.com/kafka/parcels/3.0.0/根据操作系统，下载对应的包,我是centos7的系统,所以选择el7的parcel包

3.开始安装

1.上传kafka csd包

#创建csd的存放路径
mkdir /opt/cloudera/csd
#修改用户用户组权限
chown cloudera-scm:cloudera-scm /opt/cloudera/csd

#rz命令上传跟wget下载都可以
ll
total 8
-rw-r--r-- 1 root root 5670 Feb 22  2018 KAFKA-1.2.0.jar

2.上传kafka parcel包

#上传kafka parcel包到/opt/cloudera/parcel-repo,如果出现同名文件,例如manifest.json,可以将之前的manifest.json文件重命名一下
[root@hadoop001 parcel-repo]# ll
total 2142180
-rw-r--r-- 1 cloudera-scm cloudera-scm 2127506677 May 20 23:37 CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel
-rw-r--r-- 1 cloudera-scm cloudera-scm         41 May 20 23:38 CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha
-rw-r----- 1 root         root              81326 May 21 11:24 CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.torrent
-rw-r--r-- 1 root         root           65906469 May 21 14:16 KAFKA-3.0.0-1.3.0.0.p0.40-el7.parcel
-rw-r--r-- 1 root         root                 41 Feb  6  2018 KAFKA-3.0.0-1.3.0.0.p0.40-el7.parcel.sha
-rw-r----- 1 root         root               2681 May 21 14:22 KAFKA-3.0.0-1.3.0.0.p0.40-el7.parcel.torrent
-rw-r--r-- 1 root         root               5252 Feb  6  2018 manifest.json
-rw-r--r-- 1 cloudera-scm cloudera-scm      66538 May 20 23:38 manifest.json.bak

3.分配激活

进入CDH的管理界面，点击主机==>parcel==>检查新parcel

如果成功，则会看到你的kafka一项，并且有分配按钮，点击分配，等待，然后分配按钮编程激活按钮，点击激活，等待，操作成功后如下

4.然后就可以在服务界面添加kafka服务了

5.Java Heap Size配置过小,启动报错

启动之后kafka报错,这是因为 Java Heap Size配置小了（安装kafka的时候它也没提示我设置,真的搞）

• The health test result for KAFKA_KAFKA_BROKER_SCM_HEALTH has become bad: This role’s process failed to start.

把50M的参数改成1G,然后重新启动