分布式系统监控(四)- 日志归集

背景

上一章节已经详细描述了日志采集的实现,采集的日志信息通过rocketmq的sink,将日志的增量信息以消息的方式推送到rocketmq的服务端。那对应日志收集的实现就是要部署一个rocketmq的server。
我这里将以docker的方式来部署rocketmq,传统的方式也就可以参照docker镜像的build文件及启动指令来对应配置的。

部署rocketmq

我将rocketmq以最简单的方式进行部署,就是一个nameserver,一个broker,一个console。
具体的部署请参照rocketmq部署的专题文章
如果是生产部署也可以参照我的rocketmq高可用部署方式的文章。

配置rocketmq

关于rocketmq的配置,这里面要特别注意的是broker注册到namesever的IP信息。
因为rokcetmq都运行在docker下,需要默认情况nameserver记录的是broker的docker自定义网络中的IP地址。
这个地址只有docker内的应用才可以访问得到,如果想要非docker环境访问,需要将broker注册到nameserver的地址修改为局域网的IP地址,具体配置为:

brokerClusterName=DefaultCluster
brokerName=broker-a
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=ASYNC_MASTER
flushDiskType=ASYNC_FLUSH

brokerIP1=10.209.8.126 #<--这个设置为局域网的IP地址

在运行broker的镜像时,指定一下配置文件就可以了。

部署完成以后,访问console,创建一个消息主题。这个主题应该写flume-resource-conf.properties中配置的topic一致。


分布式系统监控(四)- 日志归集_第1张图片
rocketmq-createtopic.png

监控rocketmq

当flume-agent正常运行的情况下,通过console的消息菜单就可以查询到flume收集到的日志流信息了。

分布式系统监控(四)- 日志归集_第2张图片
rocketmq-topic-message.png

说明

可能有人会有疑问,大多数的监控平台的技术选型都是flume+kafka+storm,而且flume及storm都默认对kafka支持的,为什么要使用rockatmq呢。其实原因很简单,就是自己比较熟悉rocketmq,本身rocketmq也是基于kafka演化过来的,有一定的相似度。并且rocketmq也有分支项目支持flume和storm,那使用rocketmq会比使用kafka使用需要的学习成本更低一些,所以选择了rocketmq。

你可能感兴趣的:(分布式系统监控(四)- 日志归集)