Cloudera Manager安装Kafka集群

一、前提条件和环境

1、环境：CDH5.16.x|Centos7.x|scala 2.11

2、CM和CDH环境已经搭建完成。在CDH上集成Kafka，要求用CDH上的Zookeeper管理Kafka。

二、相关软件下载

cloudera官网kafka：

https://docs.cloudera.com/documentation/kafka/latest/topics/kafka_packaging.html

简要说明：例如kafka_2.11-2.2.1-kafka-4.1.0.jar
2.11 scala 版本
2.2.1 apache kafka版本
4.1.0 cdk版本

下载下面的三个文件（Linux版本是6系列，选择el6，7系列选择el7）

1、在/var/www/html/（http服务的默认目录）新建文件夹kafka_parcel。

mkdir kafka_parcel

2、将上面的三个文件上传到该目录下，并将KAFKA-4.1.0-1.4.1.0.p0.4-el7.parcel.sha1重命名为KAFKA-4.1.0-1.4.1.0.p0.4-el7.parcel.sha。

 

三、安装过程

1、添加Kafka服务

2、安装Parcel

配置：下载-》分配-》激活

 

Kafka parcel激活完成！

 

3、集群添加kafka服务安装：

Missing required value: Destination Broker List
Missing required value: Source Broker List

可按如下方法配置即可：
a. 填写Source Brokers List
填写Kafka Broker所在节点构成的列表（用逗号分隔），如下（所有节点部署了Kafka Broker）：
master:9092,slave1:9092,slave2:9092

b. 填写Destination Brokers List
若添加了Kafka MirrorMaker，则可填写其所在节点构成的列表；若未添加Kafka MirrorMaker，可填写任意服务器即可，如下：
master:9092,slave1:9092,slave2:9092
或：example.com:9092

完成配置后继续下一步，完成安装！

4、whitelist must be specified报错（配置了Kafka MirrorMaker角色），在配置界面搜索whitelist添加机器：

四、测试Kafka

cd /opt/cloudera/parcels/KAFKA/bin/
./kafka-topics --create --zookeeper bigdata001:2181 --replication-factor 3 --partitions 3 --topic zyl_test
模拟生产者
./kafka-console-producer --broker-list bigdata001:9092 --topic zyl_test
模拟消费者
./kafka-console-consumer --bootstrap-server bigdata001:9092 --topic zyl_test --from-beginning