CDH5.13.1安装kafka服务

CDH5.13.1安装kafka服务

安装环境：

1. CDH 5.13.1
2. kafka 3.1.1-1.3.1.1.p0.2
3. CentOS release 6.10 (Final)
4. java version "1.8.0_131"

安装前准备：

1. cloudera manager管理界面添加服务，会找到kafka服务，但是安装提示如下图：
   
   Apache Kafka将发布-订阅消息重新考虑为分布式提交日志。在添加此服务之前，请确保激活了Kafka包或安装了kafka包。
2. 由此可见，安装kafka需要安装激活kafka的parcel。如下图所示：
    
3. 通过以下网址，可以看出CDH版本相对应的Kafka版本：
   https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_kafka
   打开后如下图所示：
   
4. 根据自己的CDH版本，选择相应的kafka版本，在以下网址可以下载到相应的kafka的parcel：http://archive.cloudera.com/kafka/parcels
   笔者CDH版本为5.13.1，所以选择latest，最新的版本，即3.1.1的最新稳定版
   
   
   点击相应的版本后，进入下载页面：
   
   在此页面下载上图所示的三个文件：
   1. KAFKA-3.1.1-1.3.1.1.p0.2-el6.parcel
   2. KAFKA-3.1.1-1.3.1.1.p0.2-el6.parcel.sha1 (下载后将后缀.sha1修改为.sha)
   3. manifest.json
   4. 
   5. 注：下载相应的kafka版本时需要查看Linux的版本，笔者的Linux为Centos6.10，所以下载的为el6的，以此类推，如果你的Linux系统为Centos7的，则下载el7版本的。
5. 将上述三个文件拷贝到Linux上cloudera安装目录下的parcel-repo目录中，如下图所示：
    
   如果之前存在manifest.json文件，重命名之前的文件即可。
6. 在以下网址下载KAFKA-1.2.0.jar ：
   http://archive.cloudera.com/csds/kafka
   
7. 将下载好的KAFKA-1.2.0.jar文件上传到Linux上cloudera的安装目录中的csd目录下，笔者上传到了 /opt/cloudera/csd目录下。

安装kafka服务：

1. 重启cloudera manager服务，到CDH的管理界面，点击主机，再点击Parcel：
    
2. 找到Kafka，点击分配，等待分配完成，再点击激活，结果如下图所示：
    
3. 回到cloudera manager主界面，点击添加服务：
    
4. 选择kafka，点击继续
    
5. 选择安装kafka服务的机器
    
6. 随后都是默认就可以，等到最后点击完成，kafka服务就安装完成了。