大数据之kafka集群部署
单机多 broker
一．在单独服务器部署 zookeeper,kafka
1.复制 config/server.properties 为 server-1.propeties，并进行如下修改
[root@centos6 kafka]# cp config/server.properties
config/server-1.properties
[root@centos6 kafka]# vi config/server-1.properties
#broker.id=0
broker.id=1
#listeners=PLAINTEXT://:9092
listeners=PLAINTEXT://192.168.1.7:9093
#host.name=localhost
host.name=192.168.1.7
#log.dirs=/tmp/kafka-logs
log.dirs=/tmp/kafka-logs-1
2.修改 config/producer.properties
[root@centos6 kafka]# vi config/producer.properties
#metadata.broker.list=localhost:9092
metadata.broker.list=192.168.1.7:9092,192.168.1.7:9093
3.分别运行 kafka 基于不同配置启动进程
[root@centos6 kafka]# bin/kafka-server-start.sh
config/server.properties
[root@centos6 kafka]# bin/kafka-server-start.sh
config/server-1.properties
多机多 broker
1.部署
分 别 在 三 台 服 务 器 （ 192.168.1.7 、 192.168.1.8 、192.168.1.9）上部署 zookeeper，kafka
2.分别在三台服务器分别配置 zk 集群 - 修改 zk 配置文件
conf/zoo.cfg 并增加如下配置
server.1=192.168.1.7:7008
server.2=192.168.1.8:7008
server.3=192.168.1.9:7008
3.分别在三台服务器配置 kafka 的 config/server.properties 配置文件
#192.168.1.7/8/9 三台机器将 broker.id 分配配置为 1、2、3
#broker.id=0 broker.id=1
#192.168.1.7/8/9 三台机器的 host.name 分配定义各自 ip地址
#host.name=localhost
host.name=192.168.1.7
#zookeeper.connect=localhost:2181
zookeeper.connect=192.168.1.7:2181,192.168.1.8:2181,192.168.1.9:2181
4.配置
分别在三台服务器配置 kafka 的 config/producer.properties
配置文件
#metadata.broker.list=localhost:9092
metadata.broker.list=192.168.1.7:9092,192.168.1.8:9092,
192.168.1.9:9092
#producer.type=sync
producer.type=async
5.分别在三台服务器配置 kafka 的 config/consumer.properties
配置文件
#zookeeper.connect=127.0.0.1:2181
zookeeper.connect=192.168.1.7:2181,192.168.1.8:2181,192.168.1.9:2181
6. 对 应 步 骤 3 中 server.properties 修 改 的 broker.id
对/tmp/kafka-logs/meta.properties（server.properties 中默认配
置 log.dirs=/tmp/kafka-logs）做对应的 broker.id 修改，需保持
一致，否则会启动会报异常，造成启动失败，具体如下:
[root@centos6 kafka]# vi /tmp/kafka-logs/meta.properties
#192.168.1.7/8/9 三台机器将 broker.id 分配配置为 1、2、3
#broker.id=0
broker.id=1
7. 配 置 完 成 后 ， 分 别 在 三 台 服 务 器 启 动
kafka(bin/kafka-server-start.sh config/server.properties 启 动
命令)
常用命令：
1、启动 zookeeper
bin/zookeeper-server-start.sh config/zookeeper.properties &
2、启动 kafka
bin/kafka-server-start.sh config/server.properties &
3、停止 kafka
bin/kafka-server-stop.sh
4、停止 zookeeper
bin/zookeeper-server-stop.sh
5、创建 topic
bin/kafka-topics.sh --create --zookeeper 192.168.1.7:2181 --replication-factor 1 --partitions 1 --topictest
6、展示 topic
bin/kafka-topics.sh --list --zookeeper 192.168.1.7:2181
7、描述 topic
bin/kafka-topics.sh --describe --zookeeper 192.168.1.7
:2181 --topic my-replicated-topic
8、生产者：
bin/kafka-console-producer.sh --broker-list 192.168.1.7
:9092 --topic my-replicated-topic
9、消费者：
bin/kafka-console-consumer.sh --zookeeper 192.168.1.7:2181 --topic test --from-beginnin
10、删除
topicbin/kafka-topics.sh --delete --zookeeper 192.168.1.7:2181 --topic topicname 删除 topic 中存储的内容在config/server.properties 中找到如下的位置删除 log.dirs
指定的文件目录，然后重新启动就可以了。