windows系统flumeng+kafka+storm搭建实时计算平台

1.简介


flume-ng      1.8.0（单点）
kafka         2.12(单点)
kafkamanager  1.3.3.17
storm         1.1.1(集群)
依赖项         jdk1.8
zookeeper集群  参考前面的文章(集群)


2.下载，解压到d盘


flumeng          链接: https://pan.baidu.com/s/1Pgj26BIezdkBVLvbs0QKHg 密码: 2d4c
kafka            链接: https://pan.baidu.com/s/1xbC18YT7PNxe3iL4lbqAww 密码: emmt
kafkamanager     链接: https://pan.baidu.com/s/1kW46sfdQ2df7-OrijkfCZg 密码: ujz3
storm            链接: https://pan.baidu.com/s/1t6RGFDlw-tDoOHlAGuYu5w 密码: zi66


3.设置环境变量


flumeng            flumeng180
flumenghome        D:\apache-flume-1.8.0-bin\apache-flume-1.8.0-bin-1\bin\my
kafka              kafka212100
kafkahome          D:\kafka_2.12-1.0.0\kafka_2.12-1.0.0-1\bin\windows\my
kafkamanager       kafkamanager13317
kafkamanagerhome   D:\kafka-manager-1.3.3.17\bin


4.设置flume配置和bat文件


flume配置文件，放到conf下
链接: https://pan.baidu.com/s/1v47ROwAvnpwHwGN-asQ-mw 密码: 94qb


flume-kafka集成jar包，放到lib下
链接: https://pan.baidu.com/s/1jdFJzQ0WMTLkIuFKaz1Jjg 密码: mqj8


flume安装成服务bat文件，my目录放到bin目录下
链接: https://pan.baidu.com/s/1FseFjIRiI9DUZvzCUrh-4A 密码: ttc5




执行startwithmonitor.bat安装flumeng服务，并启动


5.设置kafka和storm的数据日志目录


D盘新建如下目录


D:\tmp\kafka-1-logs
D:\tmp\storm1
D:\tmp\storm2
D:\tmp\storm3


6.设置kafkamanger


conf下修改application.conf
kafka-manager.zkhosts="10.168.100.102:2181,10.168.100.102:2182,10.168.100.102:2183"


下载bat文件放到bin下
链接: https://pan.baidu.com/s/1hmBvk_mSADF4XxpEOClWkQ 密码: j564


7.设置kafka


config\server.properties编辑如下项
log.dirs=/tmp/kafka-1-logs
zookeeper.connect=10.168.100.102:2181,10.168.100.102:2182,10.168.100.102:2183




下载并放到bin\windows\my下
链接: https://pan.baidu.com/s/1jVDhRgL12Z55CofK5HA4Rg 密码: h4e7


8.启动kafka，和kafkamanager


执行install.bat 和 createtipic.bat启动kafka
执行install.bat启动kafkamanager


访问  http://localhost:9000/   kafkamanager管理地址


可以尝试telnet 127.0.0.1 6666命令，向flumeng写数据，观察kafkamanager


9.解压storm，目录结构如下


D:\apache-storm-1.1.1\apache-storm-1.1.1-1   nimbus节点
D:\apache-storm-1.1.1\apache-storm-1.1.1-2   supervisor节点
D:\apache-storm-1.1.1\apache-storm-1.1.1-3    supervisor节点


10.配置1.1.1-1


下载log4j2,覆盖掉默认的配置文件，默认的有问题，打印不了日志
链接: https://pan.baidu.com/s/1c_GGLjJ_GLXyy6Xm9hP-qw 密码: fu2w


下载storm.yaml，反倒conf目录下
链接: https://pan.baidu.com/s/1W01NRFm_ybnmeIA3YQmR3A 密码: m3jj


下载kafka-storm集成包，bat文件放到彬目录下
链接: https://pan.baidu.com/s/1qlzu-DfNjf3fZNm_UxAxcQ 密码: d5nt






11.配置1.1.1-2


和节点1类似
链接: https://pan.baidu.com/s/1TWk1dblMJfmQJ4m4eSIqzg 密码: 743m


12.配置1.1.1-3


和节点1类似
链接: https://pan.baidu.com/s/1n5brwTSmoQVy_pMCb3iqKw 密码: 3him


12.启动nimbus，ui，和supervisor


在节点1bin目录下执行nimbus.bat，确认启动成功后
执行节点2，节点3下面的supervisor.bat,确认启动成功后
节点1下执行ui.bat,打开storm的web监控页  ，http://127.0.0.1:18080/
节点1下执行submitTopology.bat，提交拓扑结构


d：\kafkaresult.text是字符统计结果
D:\autohomestormlog4j2是执行日志


13.节点1中的jar包默认启动的是内存拓扑，下面的jar包是kafka作为数据源的拓扑，覆盖掉即可


链接: https://pan.baidu.com/s/1GsZ2ckO6L7mY1G3VuUU8pQ 密码: 5cfs


至此，fluemeng + kafka + strom 集成完毕
可以尝试telnet 127.0.0.1 6666 向flumeng写数据，
flume通过自定义flumekafka的集成jar包push到kafka， 
storm通过自定义kafkastorm的集成jar包从kafka订阅数据消费计数


在storm ui可以观察拓扑的执行状态