今天刚接触kafka,网上很多kafka的安装,这里只讲单机版的安装以及安装过程中遇到的问题。
软件
一、JDK安装
kafka的使用依赖于zookeeper,zk要运行在jvm之上,所以啊,咱们也先安装jdk.
如果不安装jdk启动zk的时候会出现以下问题
Error contacting service. It is probably not running.
JDK的安装请参考我的另外一篇文章Centos7 jdk1.8安装。
二、zookeeper安装
目前zk的版本如下
我下的是3.4.10
wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz
解压缩
tar -zxvf zookeeper-3.4.10.tar.gz
编辑配置文件
cd zookeeper-3.4.10/conf/
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg
配置如下
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/opt/data/zookeeper
dataLogDir=/var/log/kafka/zk
clientPort=2181
server.1=10.9.201.142:2888:3888
进入bin目录使用zkServer.sh启动zk
./zkServer.sh start
查看启动情况
./zkServer.sh status
wget http://mirrors.hust.edu.cn/apache/kafka/2.0.0/kafka_2.12-2.0.0.tgz
解压缩
tar -zxvf kafka_2.12-2.0.0.tgz
启动kafka
cd kafka_2.12-2.0.0
cd bin/
./kafka-server-start.sh ../config/server.properties &
使用jps查看启动情况
[root@centos7 bin]# jps
19815 Kafka
19032 QuorumPeerMain
33307 Jps
QuorumPeerMain是zk的进程。
四、测试kafka
创建一个topic
./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test_kafka
查看创建的topic
[root@centos7 bin]# ./kafka-topics.sh --list --zookeeper localhost:2181
__consumer_offsets
test_kafka
启动消费者
./kafka-console-consumer.sh --bootstrap-server localhost:2181 --topic test_kafka --from-beginning
注意:新版的kafka只能使用–bootstrap-server来启动,zookeeper的指令已经被取消了。
在新的shell中启动生产者
./kafka-console-producer.sh --broker-list localhost:9092 --topic test_kafka
启动之后输入消息,在消费者的shell中就可以接收到生产者中输入的信息。
到这里kafka的单机安装就结束了。