Log4j、Flume、kafka和spark streaming时时日志处理

本次实战flume是1.7版本，kafka是0.10，spark streaming是2.2.0版本

第一步：flume=》kafka，首先配置flume的source为avro，然后sink为kafka方式，其中varo的端口要和log4j相同，服务器本机即可，其中代码如下图：

image

第二部：准备模拟log4j日志生产，我是用java代码循环生成以及log4j配置，如下图所示：

image

image

第三部、用spark Streaming进行接收，最后打印出来，生成环境可以根据自己需要进行业务修改即可，代码如下：

image

修改main方法参数，我是用IDEA，如下配置

image

完成以后分别启动java的main方法，和flume，kafka，zookeeper，然后启动spark stream方法：

image

image

以上就完成了一个日志的时时分析功能，赶快实践吧！