CDH安装Kafka

环境：三台机器（CentOS6.5）
CDH：5.7.0

下载parcel包

CDH的parcel包中不含有Kafka，需要单独下载

http://archive.cloudera.com/kafka/parcels/
在这里选择版本

对于不同的CDH版本，对应的Kafka版本也不同
官网给出的对应关系：

注意Kafka所对应的系统，

EL6 is the download for Red Hat 6.x, CentOS 6.x, and CloudLinux 6.x.
EL5 is the download for Red Hat 5.x, CentOS 5.x, CloudLinux 5.x.
EL7 is the download for Red Hat 7.x, CentOS 7.x, and CloudLinux 7.x.

下载三个，后缀是parcel、sha1和manifest.json（注意下好后把后缀sha1修改为sha），如：

KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel
KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel.sha
manifest.json

把这三个文件，放到master节点的/opt/cloudera/parcel-repo下。

下载KAFKA-1.2.0.jar

地址：

http://archive.cloudera.com/csds/kafka/

放到master节点的/opt/cloudera/csd目录下

分配激活Kafka

在最上面一行，点 主机–》Parcel，找到kafka的parcel，点分配，分配完成后点激活。

安装

点击集群的安装服务选项，选择kafka。
选择kafka broker和kafka monitiormaker的节点，broker可以选三个，kafka monitiormaker选一个就好（根据情况变化）。

填写Destination Brokers List和填写Source Brokers List：

填写Destination Brokers List
填写添加了Kafka MirrorMaker的节点的ip+端口号，比如：192.168.204.201:9092

填写Source Brokers List
Kafka Broker所在节点的ip+端口号，比如：192.168.204.201:9092,192.168.204.202:9092,192.168.204.203:9092

可能出现的问题

安装步骤中启动失败：查看日志没有FATAL级别信息，有关联的可能也就是这个
Opening socket connection to server hadoop001/192.168.204.201:2181. Will not attempt to authenticate using SASL (unknown error)
退出安装界面，进入主界面修改默认的Kafka参数Java Heap Size of Broker（broker_max_heap_size），比如修改为1G。（也有可能是内存过小）

启动失败查看日志发现：
Configured broker.id 52 doesn't match storedbroker.id 49 in meta.properties.
根据报错的信息需要修改broker.id（在配置里搜broker.id）