CentOS 7 环境搭建kafka集群

 Kafka是一个MQ服务,流行的MQ服务器有三个,分别是ActiveMQ,RabbbitMQ和Kafka

目录说明:
/home/fuqinqin/packages : 安装包存放目录
/home/fuqinqin/kafka : kafka安装目录

1 . 下载安装包
进入packages目录,下载安装包
wget http://mirrors.hust.edu.cn/apache/kafka/1.0.1/kafka_2.11-1.0.1.tgz
2. 解压
tar -zxvf ./kafka_2.12-1.0.1.tgz -C ../kafka图片
3.  在kafka目录下新建kafkaLogs文件夹,存放日志
mkdir kafkaLogs

4. 进入根目录下的/connfig目录,编辑 server.properties 文件
改动1:broker.id 节点身份标志,从0开始的自然数
改动2:放开listeners=PLAINTEXT://192.168.227.130:9092,修改成节点的ip,端口采用默认值即可
改动3:log.dirs。刚才新建的kafkaLogs文件夹的绝对路径
改动4:num.partitions。topic主题的分区数量,默认是1个,改成2个
改动5:新增三个新属性:
        message.max.byte=512000
        # 副本数目,2个比较保险
        default.replication.factor=2
        replica.fetch.max.byte=512000
改动6:zookeeper.connect 。zookeeper集群环境的显示申明,用于协调kafka分布式环境的一致性工作。
zookeeper.connect=192.168.227.130:2181,192.168.227.133:2181,192.168.227.135:2181
设置各个节点的ip,端口视搭建zookeeper集群的情况而定,如果zookeeper的端口改变,这里也需要改变,一般采用默认端口 

至此,配置文件配置完毕!

5. 在其余两台的节点上做相同工作。
6. 启动服务
进入bin目录,执行: ./kafka-server-start.sh -daemon ../config/server.properties
-daemon : 后台运行
./config/server.properties : 指定的配置文件
7. 创建消息的生产者和消费者验证集群是否搭建成功
官网文档: http://kafka.apache.org/quickstart
8. 通过 jps 命令也可辅助查看进程是否启动成功

至此,kafka的集群已经搭建完毕!!!

你可能感兴趣的:(kafka,kafka,集群)