ubuntu下kafka安装

zookeeper安装

• 下载zookeeper-3.3.6.tar.gz，解压到~/kit

• 修改zookeeper配置文件，cp zoo_sample.cfg zoo.cfg ，并配置数据目录和日志目录，如下

  dataDir=~/kit/zookeeper-3.3.6/data
  dataLogDir=~/kit/zookeeper-3.3.6/log

• 创建对应的目录

kafka安装

• 载 kafka_2.11-0.8.2.1.tgz，tar -xzvf解压到安装目录~/kit
• 修改kafka配置文件 zookeeper.properties server.properties
• zookeeper.properties修改如下：
  

dataDir=/home/hadoop/kit/kafka2.11/zookeeper/data
server.properties修改如下：
broker.id=1
host.name=0.0.0.0
advertised.host.name=192.168.1.100
log.dirs=/home/hadoop/kit/kafka2.11/log
num.partitions=1
offsets.topic.replication.factor=1
default.replication.factor=1

启动kafka以及zk

• zookeeper：bin/zookeeper-server-start.sh config/zookeeper.properties
• kafka：bin/kafka-server-start.sh config/server.properties

注意事项

• kafka版本为2.11-0.8.2.1，若使用python客户端，需指定apiversion

KafkaProducer(bootstrap_servers=['192.168.1.100:9092'],api_version=(0,8,2))

• maven对应客户端也必须指定版本
• producer端提交数据，comsumer端消费数据