python消费kafka数据nginx日志实时_Openresty+Lua+Kafka实现日志实时采集
简介在很多数据采集场景下,Flume作为一个高性能采集日志的工具,相信大家都知道它。许多人想起Flume这个组件能联想到的大多数都是Flume跟Kafka相结合进行日志的采集,这种方案有很多他的优点,比如高性能、高吞吐、数据可靠性等。但是我们如果要求对日志进行实时的采集,这显然不是一个好的解决方案。原因如下:就目前来说,Flume能支持实时监控一个目录的数据文件,一旦对某个目录的文件采集完成,就会