kafka zookeeper 单节点安装测试
一 介质版本
kafka_2.11-1.1.1.tar
zookeeper-3.4.5-cdh5.7.0.tar
二 安装
1、解压
tar -zxvf kafka_2.11-1.1.1.tar -C /app
tar -zxvf zookeeper-3.4.5-cdh5.7.0.tar -C /app
创建软连接
ln -s kafka_2.11-1.1.1 kafka
ln -s zookeeper-3.4.5-cdh5.7.0 zookeeper
2、配置启动zookeeper
cd zookeeper/conf
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
# 配置数据日志文件
dataDir=/home/hadoop/app/zookeeper/data
dataLogDir=/home/hadoop/app/zookeeper/logs
# the port at which the clients will connect
# 配置端口
clientPort=2181
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
配置好后，启动zk
cd zookeeper
bin/zkServer.sh start
bin/zkServer.sh status 查看zk服务是否正常启动 这里是单节点，显示为standalone。
3、配置启动kafka
cd kafka/config
vi server.properties 因为是单节点 这里只需改动两个地方
>>
log.dirs=/home/hadoop/app/kafka/logs
zookeeper.connect=localhost:2181/kafka 这里再后面加上/kafka是方便以后的管理，因为kafka启动后会在zookeeper上创建一个kafka节点，如果直接在zk第一级目录创建kafka的相关信息，之后想手动管理kafka的相关信息时不好定位哪些目录是属于kafka的。所以加上/kafka后，kafka的相关目录都会创建在/kafka下，方便管理。
启动kafka
nohup bin/kafka-server-start.sh config/server.properties &
jps 查看进程是否成功启动
14835 QuorumPeerMain
17238 Jps
15082 Kafka
4、测试
创建topic
bin/kafka-topics.sh --create --zookeeper localhost:2181/kafka --replication-factor 1 --partitions 1 --topic test
查看topic
bin/kafka-topics.sh --list --zookeeper localhost:2181/kafka
创建producer
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
创建consumer
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
我们在producer端输入一些信息，可以在consumer端消费到。测试成功。
遇到的问题
在创建topic的时候，报错
Replication factor: 1 larger than available brokers: 0
这个问题是自己粗心大意了，因为我在配置kafka在zk的目录的时候加上了/kafka，而在创建topic的时候，使用
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
它在zk第一级目录上找不到broker的相关信息，所以报错。正确的命令应该是
bin/kafka-topics.sh --create --zookeeper localhost:2181/kafka --replication-factor 1 --partitions 1 --topic test
在查看topic的时候也是一样，需要加上/kafka
bin/kafka-topics.sh --list --zookeeper localhost:2181/kafka