storm跑历史日志

半年 2.4亿数据跑了36hours,没有spout oom,因为没有设置acker

数据从2016.10-2017.04 主要是从oss读取日志很慢,

mongo的update完全跟的上storm的处理速度,update 10000/s 持续36小时没有问题


consumner group重新设置一个id即可以从启动storm时的日志开始,之前停掉的不予统计

你可能感兴趣的:(storm跑历史日志)