kafka跟storm收集日志解决方案

Kafka安装http://blog.csdn.net/aitcax/article/details/49583351

kafka跟storm收集日志解决方案_第1张图片

Git地址http://git.oschina.net/catshen/zsWing

增加两个topic

bin/kafka-topics.sh --create --zookeeper 10.2.10.61:2181 --replication-factor 1 --partitions 1 --topic blog

bin/kafka-topics.sh --create --zookeeper 10.2.10.61:2181 --replication-factor 1 --partitions 1 --topic cms

通过log4j2添加日志到kafka

以项目的cms模块为例(配置topic和kafka地址)

配置自定义日志级别

kafka跟storm收集日志解决方案_第2张图片

添加日志

kafka跟storm收集日志解决方案_第3张图片

Blog模块

kafka跟storm收集日志解决方案_第4张图片

启动storm

kafka跟storm收集日志解决方案_第5张图片
kafka跟storm收集日志解决方案_第6张图片
kafka跟storm收集日志解决方案_第7张图片

启动web

导入最新的sql

通过删除一条文章产生日志到kafka

kafka跟storm收集日志解决方案_第8张图片
kafka跟storm收集日志解决方案_第9张图片

Qq群483681368

你可能感兴趣的:(kafka跟storm收集日志解决方案)