kafka 配置部署

本文以部署三台kafka broker 为例讲解, kafka版本为 kafka_2.9.2-0.8.1.1, 运行环境为centos,jdk版本为1.7以上,kafka依赖zookeeper, 部署之前部署好zookeeper集群。


1. 获取kafka

在kafka下载页面 http://kafka.apache.org/downloads.html 中,选择需要的版本下载,不同的大版本号下有多个分支版本,

选择推荐版本下载, 这里选择下载kafka_2.9.2-0.8.1.1版本。


2. 系统配置

把下载好的kafka在规划好的安装目录下解压, tar -xavf kafka_2.9.2-0.8.1.1.tgz, 进入config 目录,对其中的配置文件进行修改。

kafka broker    运行时全局相关的属性在server.properties中配置:

broker.id          从0开始,将第一台kafka的id配置为broker.id=0,其他两台依次为1, 2

port                  是kafka对外提供的接口通信端口, 默认为9092即可

host.name       为运行主机的hostname,设为hostname或IP地址都可以

num.partitions                     为消息的分区数, kafka中的消息是分布式存储的,  三台server 设为num.partitions=3,当然可以设的更大

default.replication.factor    为消息文件的副本数,提高系统的容错性,不设置时默认为1,不可大于broker节点数,本例中可设置为2或者3.

log.dirs                                  消息文件的根目录, 将其改为规划好的目录

zookeeper.connect              依赖的zk集群地址,设置为已部署好的zookeeper集群地址

以上是主要的配置,其他配置用默认值

依次将三台kafka的server.properties文件修改


3. 启动运行

在kafka的主目录下执行命令,以后台服务启动kafka

bin/kafka-server-start.sh-daemon config/server.properties



你可能感兴趣的:(kafka)