本文属于实操本人亲测若有雷同,请包涵。
先学习安装使用kafka,后续文章完善关于kafka的概念,便于加深对概念的理解
使用kafka版本:
kafka:kafka_2.11-2.3.0.tgz
下载链接:
链接:https://pan.baidu.com/s/1B7NV-kceEuTM55GV2gyT7Q
提取码:u7ob
前期准备:
JDK:1.8(必须)
Zookeeper:3.4.9(可变更,此为本机版本)
由于本人使用scala使用2.11所以使用kafka的2.11版本,便于windows后续编辑kafka代码,方便测试。
本人配置使用集群模式,更好的理解关于kafka的使用,单机模式的请自行测试。
备注:服务器使用:
192.168.44.101(h101)
192.168.44.102(h102)
192.168.44.103(h103)
192.168.44.104(h104)
前期:h101、h102、h103安装zookeeper集群
后续将kafka集群安装到h102、h103、h104集群上
安装kafka
1、检查jdk版本
2、分别传输文件、解压文件kafka_2.11-2.3.0.tgz到h102、h103、h104三个服务器上
$>tar -zxvf kafka_2.11-2.3.0.tgz
备注:一次在三个服务器上解压kafka安装包
3、配置kafka
以h102为例:
1>设置节点id
2>服务器监听者的地址
3>日志路径
4>zk集群地址
备注:h103,h104处理第一条分别为103,104,其余均一致(日志可根据自身灵活设置)
配置示例下载:
链接:https://pan.baidu.com/s/12va16hb5EjG1Dei-fzOQLg
提取码:kjj0
4、创建链接,方便后续使用
进入soft目录下创建链接
更新链接(本地存在kafka的超链接)
$>sudo ln -snf /home/hadoop/kafka/kafka_2.11-2.3.0 kafka
创建链接
$>sudo ln -s /home/hadoop/kafka/kafka_2.11-2.3.0 kafka
5、启动kafka集群,需先启动zk集群
1>启动h101、h102、h103上的zk集群
2>查看zk的启动情况
3>h102 、h103 、h104启动kafka服务器(brokers)
查看kafka的启动情况
$>netstat -ano | grep 9092
若报错可查看日志目录下的server.log文件查看报错原因
备注:出现以上情况基本表明kafka集群启动成功
测试kafka集群
查看zk集群的客户端:
备注:此时就是开始设置的不同服务器的broker.id的对应的数据
生产者消费者测试:
1>创建主题:
$>kafka-topics.sh --create --zookeeper h101:2181 --replication-factor 2 --partitions 3 --topic kfktestone
(replication-factor (副本数) partitions(分区) topic(主题名))
查看主题列表:
$>kafka-topics.sh --list --zookeeper h101:2181
2>启动控制台生产者
$>kafka-console-producer.sh --broker-list h102:9092 --topic kfktestone
备注:此时命令行进入待命状态,不要做别的操作
3>启动控制台消费者 (可新建一个h102连接,或是在h103,h104上均可)
$>kafka-console-consumer.sh --bootstrap-server h102:9092 --topic kfktestone --from-beginning
备注:此时命令行进入待命状态,不要做别的操作
4>:在生产者输入 hello kafka 会发现消费者获取到数据
生产者:
消费者:
备注:出现此类情况几乎代表kafka集群搭建成功。
本人公众号:技术攀登,欢迎大家关注,文章不断更新中