安装Kafka

准备

下载Kafka安装包

Kafka官方网站

我们采用的是kafka_2.11-0.10.2.0的版本

一、解压并安装Kafka

sudo tar -zxf kafka_2.11-0.10.2.0.tgz -C /usr/local
cd /usr/local
sudo mv kafka_2.11-0.10.2.0/ kafka
sudo chown -R hadoop kafka/

二、测试Kafka

cd /usr/local/kafka
./bin/zookeeper-server-start.sh config/zookeeper.properties

 注意：此时zookeeper正在启动中，请千万不要关闭当前终端，重新打开一个终端进行下面的操作

cd /usr/local/kafka
./bin/kafka-server-start.sh config/server.properties

 注意：此时kafka服务端就启动了,请千万不要关闭当前终端，重新打开一个终端进行下面的操作​

 

cd /usr/local/kafka
./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 \
--partitions 1 --topic dblab

topic是发布消息发布的category,以单节点的配置创建了一个叫dblab的topic.可以用list列出所有创建的topics,来查看刚才创建的主题是否存在

./bin/kafka-topics.sh --list --zookeeper localhost:2181 

可以在结果中查看到dblab这个topic已存在，接下来用producer生产点数据：

 

./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic dblab
#输入以下信息
hello hadoop
hello world
hello spark

然后再次开启新的终端或者直接按CTRL+C退出。然后使用consumer来接收数据,输入如下命令：

cd /usr/local/kafka
./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic dblab \
--from-beginning 

至此kafka安装测试完毕