WebMagic踩坑之路（一）slf4j日志问题

第一次使用WebMagic框架来进行爬虫。

在找完相关资料之后运行main方法之后，Console总是报错，看到BUG，报错程序员一般都很不爽，我写的程序不可能有问题（蜜汁自信）。

查各种资料终于解决这个slf4j的相关报错信息。

报错截图：

 我用的Spring Boot maven构建的WebMagic工程，默认引入了

    org.springframework.boot
    spring-boot-starter

    org.springframework.boot
    spring-boot-starter-test
    test

再引入webmagic相关的包之后，运行出现大量的debug日志。

此时没有加入任何的log配置文件

代码初始化执行时报以下警告

查看maven tree,发现

 

该包是在spring-boot-starter被引入的，所以需要做排除。

但是不能直接排除spring-boot-starter-logging，这样则所有依赖于slf4j的也将失效。

所以排除logback-classic即可

    org.springframework.boot
    spring-boot-starter
   
       
            ch.qos.logback
            logback-classic
       
   

 按照上述操作已经排除了slf4j多版本无法初始化的问题！然而问题并没有解决。。。

新的报错信息：

这是由于WebMagic使用log4j来输出log，必须自己写一个配置文件，来规定log的输出格式，在src目录下新建文件 log4j.properties 

具体写法可以参考下面内容：

# 全局日志级别设定 ,file
log4j.rootLogger=INFO, stdout, file

# 自定义包路径LOG级别
log4j.logger.org.quartz=WARN, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d{MM-dd HH:mm:ss}[%p]%m%n

# Output to the File
log4j.appender.file=org.apache.log4j.FileAppender
log4j.appender.file.File=C:\\log4j\\webmagic\\webmagic.log
log4j.appender.file.layout=org.apache.log4j.PatternLayout
log4j.appender.file.layout.ConversionPattern=%n%-d{MM-dd HH:mm:ss}-%C.%M()%n[%p]%m%n

这样就彻底解决了webmagic日志的问题！

资料文章：

https://www.cnblogs.com/huanghongbo/p/9089311.html

https://blog.csdn.net/zqiang_55/article/details/71484539