scrapy log日志重定向，设置全局日志等级

问题描述：

今天接到运维同事反馈，有个scrapy项目产生了大量日志，占用了100多g内存。查看日志文件发现全是第三方模块的debug信息，而这个第三方模块是直接用的logging。

解决思路：

既然直接使用的logging，那我只要在scrapy 项目里面设置日志等级就可以了，经过各种尝试发现还是有debug日志，而且还有scrapy框架的debug信息，那估计就是因为这个导致后面的所有日志等级设置都无效。那既然找到问题源头，就想办法把scrapy框架的默认debug日志等级给改了，直接在setting文件里添加LOG_LEVEL = 'ERROR’是无效的，需要在初始化的时候就改了。查看官方文档发现scrapy.utils.log.configure_logging，初始化Scrapy的日志记录默认值，在启动脚本里加上scrapy.utils.log.configure_logging()，重新运行居然起作用了， 这个时候就可以通过setting里面LOG_LEVEL = level 控制日志等级了。