scrapy框架进阶三

Scrapy log信息的认知
Scrapy shell
Scrapy settings说明和配置
Scrapy CrawlSpider说明

1.Scrapy log信息的认知

2. Scrapy shell
   Scrapy shell是一个交互终端，我们可以在未启动spider的情况下尝试及调试代码，也可以用来测试XPath表达式
   使用方法：
   scrapy shell https://www.baidu.com/

response.url:当前相应的URL地址
response.request.url:当前相应的请求的URL地址
response.headers:响应头
response.body:响应体，也就是HTML代码，默认是byte类型
response.requests.headers:当前响应的请求头

3. Scrapy settings说明和配置
   为什么需要配置文件：
   配置文件存放一些公共的变量(比如数据库的地址，账号密码等)
   方便自己和别人修改
   一般用全大写字母命名变量名 SQL_HOST = ‘192.168.0.1’
   settings文件详细信息：https://www.cnblogs.com/cnkai/p/7399573.html

4. Scrapy CrawlSpider说明
   之前的代码中，我们有很大一部分时间在寻找下一页的URL地址或者