Kafka是一种高吞吐量的分布式发布订阅消息系统
Linux下的安装流程
-
前置zookeeper安装（高版本kafka自带zk,可以直接下一步）
- 下载解压
- 修改配置文件
- 修改环境变量
- 启动zookeeper
- 其他
-
Kafka安装
- 下载解压
- 启动服务
- 创建topic
- 启动producer
- 启动consumer
前置zookeeper安装
下载解压
1. 进入安装目录，默认/usr/local/，也可以自定义
# cd /usr/local
2. 下载zookeeper安装包，到官网选择合适版本的安装包： http://mirror.bit.edu.cn/apache/zookeeper
# wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz
3. 解压
tar -zxvf zookeeper-3.4.14.tar.gz
修改配置文件
1.进入conf目录：
# cd zookeeper-3.4.14/conf/
2. 将zoo_sample.cfg这个文件复制为zoo.cfg (必须是这个文件名)
# cp zoo_sample.cfg zoo.cfg
3. 进入zoo.cfg文件进行编辑
# vim zoo.cfg
4. 按 i 进入编辑模式，修改以下内容：
dataDir=/tmp/zookeeper/data
dataLogDir=/tmp/zookeeper/log
注意：如果想配置集群的话，请在clientPort下面添加服务器的ip。如
server.1=192.168.180.132:2888:3888
server.2=192.168.180.133:2888:3888如果电脑内存比较小，zookeeper还可以设置成伪集群。也就是全部服务器采用同一个ip，但是使用不同的端口。
5. 在tmp目录创建目录。
# mkdir /tmp/zookeeper
# mkdir /tmp/zookeeper/data
# mkdir /tmp/zookeeper/log
6.如果是配置集群，还需要在前面配置过的dataDir路径下新增myid文件
# cd /tmp/zookeeper/data
# touch myid
# vim myid
在data目录下创建文件，文件名为“myid”, 编辑该“myid”文件，并在对应的IP的机器上输入对应的编号。
如在192.168.180.132上，“myid”文件内容就是1。在192.168.180.133上，内容就是2。
修改环境变量
1. 配置环境变量
# export ZOOKEEPER_INSTALL=/usr/local/zookeeper-3.4.14/
# export PATH=$PATH:$ZOOKEEPER_INSTALL/bin
启动zookeeper
1. 启动zk
# cd ../bin/
# ./zkServer.sh start
启动成功效果：
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-3.4.14/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
2.zookeeper的服务端启动后，还需要启动zookeeper的客户端：
# ./zkCli.sh
如果是连接多个不同的主机节点，可以使用如下命令：
# ./zkCli.sh -server 192.168.180.132:2888
3.查看状态：
# ./zkServer.sh status
返回如下：
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-3.4.14/bin/../conf/zoo.cfg
Mode: standalone
其他
1. zk的一些使用
见参考：https://www.cnblogs.com/expiator/p/9853378.html
Kafka安装
下载解压
1. 进入安装目录，默认/usr/local/，也可以自定义（流程和zk类似）
# cd /usr/local
2. 下载kafka安装包，到官网选择合适版本的安装包： http://kafka.apache.org/downloads
# wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.4.0/kafka_2.12-2.4.0.tgz
3. 解压
# tar -zxvf kafka_2.12-2.4.0.tgz
启动服务
1. 启动zk
如果采用手动安装zk的方式，这里可以略过
bin/zookeeper-server-start.sh config/zookeeper.properties
2. 启动Kafka
# bin/kafka-server-start.sh config/server.properties
创建topic
1. 创建topic
这里注意，需要重开一个窗口，然后cd到/usr/local/kafka_2.12-2.4.0/下
# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
通过list命令查看刚刚创建的topic
# bin/kafka-topics.sh -list -zookeeper localhost:2181
启动producer
1. 启动producer
# bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
启动consumer
1. 启动consumer
这里注意，也需要重开一个窗口然后cd到/usr/local/kafka_2.12-2.4.0/下
# bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
使用
1. 之后就可以愉快的在producer端发送消息，在consumer端查看消息了
2. 参考源：https://www.cnblogs.com/expiator/p/9990171.html