windows下安装kafka
一.下载
kafka官网下载地址:http://kafka.apache.org/downloads.html,下载二进制的.
二.安装
1.安装zookeeper
windows环境下安装zookeeper(单机版)
安装并启动后的界面:
2.安装kafka
我下载的kafka_2.13-2.8.0.tgz,并解压到D:\Tools\kafka_2.13-2.8.0目录下
- 编辑文件Kafka配置文件， D:\Tools\kafka_2.13-2.8.0\config\server.properties
- 找到并编辑log.dirs=D:\\Tools\\kafka_2.13-2.8.0\\kafka-logs, (自定义文件夹)
- 找到并编辑zookeeper.connect=localhost:2181。表示本地运行(默认的可以不改)
- Kafka会按照默认，在9092端口上运行，并连接zookeeper的默认端口：2181。
三.启动Kafka服务器
1.进入Kafka安装目录,新建cmd窗口:cd D:\Tools\kafka_2.13-2.8.0,输入命令
.\bin\windows\kafka-server-start.bat .\config\server.properties或者进入D:\Tools\kafka_2.13-2.8.0\bin\windows目录下执行
kafka-server-start.bat ..\..\config\server.properties或者填写绝对路径
D:\Tools\kafka_2.13-2.8.0\bin\windows\kafka-server-start.bat D:\Tools\kafka_2.13-2.8.0\config\server.properties
注意：不要关了这个窗口，启用Kafka前请确保ZooKeeper实例已经准备好并开始运行
四.测试
kafka专业术语介绍:Kafka的简介
1.创建主题
新建cmd窗口,进入kafka的windows目录下,cd D:\Tools\kafka_2.13-2.8.0\bin\windows,输入以下命令,创建一个叫topic001的主题
kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic001
可以关掉这个窗口
2.创建生产者
新建cmd窗口,进入kafka的windows目录下,cd D:\Tools\kafka_2.13-2.8.0\bin\windows,输入以下命令
kafka-console-producer.bat --broker-list localhost:9092 --topic topic001
3.创建消费者
新建cmd窗口,进入kafka的windows目录下,cd D:\Tools\kafka_2.13-2.8.0\bin\windows,输入以下命令
kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic topic001 --from-beginning
4.生产消息并消费
5.其他命令
新建cmd窗口,cd D:\Tools\kafka_2.13-2.8.0\bin\windows
1.列出主题：kafka-topics.bat –list –zookeeper localhost:2181
2.描述主题：kafka-topics.bat –describe –zookeeper localhost:2181 –topic [Topic Name]
6.操作日志的处理
kafka启动后，如果你去查看kafka所在的根目录，或者是kafka本身的目录，会发现已经默认生成一堆操作日志(这样看起来真心很乱)：
而且会不断生成不同时间戳的操作日志。刚开始不知所措，一番研究后，看了启动的脚本内容，发现启动的时候是会默认使用到这个log4j.properties文件中的配置，而在zoo.cfg是不会看到本身的启动会调用到这个，还以为只有那一个日志路径：
在这里配置一下就可以了，找到config下的log4j.properties：
将路径更改下即可，这样就可以归档在一个文件夹下边了，路径根据自己喜好定义：
另外如何消除不断生成日志的问题，就是同一天的不同时间会不停生成。
修改这里，还是在log4j.properties中：
本身都为trace，字面理解为会生成一堆跟踪日志，将其改为INFO即可。
五.将kafka安装成windows的服务
nssm是一款windows 服务安装工具，简单方便， windows service wrapper 也是一个类似的工具，但是需要进行配置文件编写
下载的地址：http://nssm.cc/release/nssm-2.24.zip
1、将软件解压到D:\Tools\nssm-2.24,cmd进入D:\Tools\nssm-2.24\win64
2、输入命令.\nssm install 会弹出一个nssm service installer
3、application path ：D:\Tools\kafka_2.13-2.8.0\bin\windows\kafka-server-start.bat
4、startup directory : D:\Tools\kafka_2.13-2.8.0\bin\windows 上面选择后会自动选择出来
5、Arguments: D:\Tools\kafka_2.13-2.8.0\config\server.properties
6、然后记得写服务名称kafka就行了
6.kafka管理界面
kafka-manager 由 yahoo 公司开发，该工具可以方便查看集群 主题分布情况，同时支持对 多个集群的管理、分区平衡以及创建主题等操作。不过雅虎已经将其更名为CMAK（Cluster Manager for Apache Kafka）。下载地址:https://github.com/yahoo/CMAK/releases，目前最新版是3.0.05，Attached release asset was compiled with java 11.
如果你所部署的kafka集群不支持最新CMAK的要求，可以下载1.x版本试试。
网上很多方法是需要sbt构筑编译的，还需要或配置文件使用镜像，如果你是用于个人研究学习，这里我给了kafka-manager-1.3.3.17下载包，是编译过的，可以直接使用，也可以自己上网找最新的编译过的kafka-manager
百度云盘链接：https://pan.baidu.com/s/109CMP8u25ey7BOIIcikDZg
提取码：cgfy
解压到想要放到的目录，找到其中的conf目录，打开 application.conf文件，修改其中的配置信息（这里主要是连接你的zookeeper服务的端口）
kafka-manager.zkhosts="localhost:2181"
其他详细的配置信息参考官方文档：https://github.com/yahoo/kafka-manager
启动后浏览器访问localhost:9000,出现如下管理界面.
退出的时候ctrl+c,会提示你是否终止
CMAK管理工具支持的范围
支持 Kafka 0.8以上版本
Java 11+
zookeeper必须是3.5+版本。
修改配置
进入cmak-3.0.0.5/conf，修改配置文件application.conf
用上面的命令编辑打开文件，将下面的两个配置项配置成你实际的kafka集群对应的zookeeper地址。
kafka-manager.zkhosts="kafka-manager-zookeeper:2181"cmak.zkhosts="kafka-manager-zookeeper:2181"
启动服务
默认使用9000端口，如果端口占用，可以通过参数指定端口。
$ bin/cmak -Dconfig.file=conf/application.conf -Dhttp.port=9001
参考博文:
https://www.cnblogs.com/coloz/p/10487679.html
https://blog.csdn.net/weixin_38004638/article/details/91893910
https://blog.csdn.net/qq_30261081/article/details/108057968
https://www.cnblogs.com/bayu/articles/14467738.html
https://blog.csdn.net/weixin_39928940/article/details/110802072
https://blog.csdn.net/chaoxiao1231/article/details/82900606