linux搭建Kafka集群

前置条件

1. 已经安装jdk并配置好环境变量，可参考《centos7安装jdk8》;
2. 已经搭建好zookeeper集群，可参考《搭建zookeeper集群》。
3. 服务器：node1, node3, node4

安装Kafka

     1. 下载地址：kafka下载

          此处使用的安装包是 kafka_2.11-0.11.0.1.tgz

      2. 上传安装包到服务器 node1，解压到指定目录，如 /opt/bigdata,命令如下

          tar -zxvf   kafka_2.11-0.11.0.1.tgz  -C  /opt/bigdata

     3. 修改 kafka配置文件，由于配置文件参数较多，只截取修改部分的参数，命令如下 

         vim  /opt/bigdata/kafka_2.11-0.11.0.1/config/server.properties

 broker.id  每一个broker在集群中的唯一表示，是正数，kafka及其根据id来识别broker机器。

 listeners  服务器监听地址。

log.dirs   kakfa 数据保存的位置，多个目录时用逗号分隔。

zookeeper.connect  zookeeper集群的地址，多个地址时用逗号分隔。

zookeeper.connection.timeout.ms  zooKeeper连接的最大超时时间。

修改完成，保存。

4. 通过远程拷贝命令把node1已经修改好配置文件的kafka分别拷贝到node3和node4，命令如下

scp -r /opt/bigdata/kafka_2.11-0.11.0.1  root@node3:/opt/bigdata

scp -r /opt/bigdata/kafka_2.11-0.11.0.1  root@node4:/opt/bigdata

分别修改node3,node4的 server.properties

vim  /opt/bigdata/kafka_2.11-0.11.0.1/config/server.properties

5. 配置kafka的环境变量，命令如下

vim  /etc/profile

末尾增加如下图两行内容，保存退出

 执行命令  source  /etc/profile   使配置的环境变量生效。

 注：node1，node3，node4服务器都需要配置kafka的环境。

6. node1，node3，node4服务器都启动kafka，命令如下

kafka-server-start.sh  -daemon  $KAFKA_HOME/config/server.properties

7.检查集群是否正常运行

1）创建一个topic，命令如下

kafka-topics.sh --create --zookeeper node1:2181 --replication-factor 1 --partitions 1 --topic test1

提示创建topic   test1。 

2）查询所有topic，命令如下

 看到第一个步骤创建的topic   test1。

创建和显示topic都没问题则kafka集群搭建成功。