Spark Streaming消费kafka数据为减少控制台输出日志配置log4j.properties不起效的问题

在使用Spark Streaming消费Kafka数据并处理数据时会在控制台生成大量不太重要的日志,为了减少控制台输出的日志,在使用sparkConf.setLogLevel()方法达不到期望时,想通过配置log4j.properties来实现,遇到了log4j.properties不起效的问题。

当时我的maven项目的Libraries下已经有slf4j、log4j的库,但是pom.xml文件只有下面这个依赖:

 <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.15</version>
</dependency>

这时运行程序后,程序中控制日志级别的setLevel()和log4j.properties配置文件的配置对于控制台打印的日志都没有起作用,经过各种尝试,最后在pom.xml补上如下依赖即解决…:

<dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.25</version>
</dependency>
<dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-api</artifactId>
            <version>1.7.25</version>
</dependency>

——————————————————————————————
本文为个人记录所用,如有侵权/错误,恳请指出 (╹▽╹)…

你可能感兴趣的:(Spark,Streaming,日志)