Python爬虫学习笔记_DAY_31_Python爬虫之scrapy框架的日志级别修改【Python爬虫】

p.s.高产量博主，点个关注不迷路！

目录

I. scrapy框架的日志级别

II. 推荐的日志级别修改方案

---

I. scrapy框架的日志级别

本篇笔记是scrapy框架入门的最后一篇，主要对scrapy框架的日志级别和显示效果进行介绍。

首先，我们任意运行一个之前的scrapy框架项目：

这项目的运行效果是在终端打印'+'号，于是在终端中能看到这样的内容：

此时终端除了加号之外，其他显示的内容叫做"日志"，通俗的讲，就是本次运行的相关信息，这些信息中包含了例如错误信息等重要内容，在我们debug的时候很有作用。

但与此同时，我们在运行的时候，更想看到清爽的结果：只显示一行加号，这时候我们可以通过修改scrapy框架的日志级别来实现。scrapy框架的日志级别有这几种：

日志级别	中文解释
ERROR	一般错误
WARNING	警告
INFO	一般的信息
DEBUG	调试信息

修改日志级别的位置在settings.py配置文件，它的格式是这样的：

LOG_LEVEL = '对应级别的大写英文'

下面我们分别演示四种级别下的显示效果：

1️⃣ ERROR:

---

 2️⃣ WARNING:

---

3️⃣ INFO:

---

4️⃣ DEBUG:

可以看出，越高的日志级别，显示的内容越少，这说明日志级别是向上扩展的，只会显示该级别及以上的日志内容，这时一个自然的结论是我们使用WARNING甚至是ERROR级别是最优的选择。

---

II. 推荐的日志级别修改方案

当我们选择了WARNING或者ERROR级别，存在的一个隐患是我们对于bug的提示信息也会被隐藏，不利于我们debug，于是最优的选择是不添加日志级别，而是添加这样一行代码在settings.py:

LOG_FILE = 'xxxx.log'

其中的xxxx我们根据需要自己起一个名字，后缀要保证是log，这样的一句代码，指定了两件事：

首先是不在终端显示日志，即还我们一个清爽的终端显示；

其次是把日志保存在spiders文件夹下的xxxx.log文件中，供我们查看：

因此在scrapy框架开发中，选择把日志写入日志文件，是上上策。