Python Scrapy 爬虫踩过的坑（二）

1. 报错描述

爬取当当网分类下的图书title 、链接link、评价数， pipelines.py中设置了页数的for loop。cmd打印item，为网页所显示的数据；而存入到file中，始终为网页的第一条数据信息。

 

2. 原因

详情请看：https://ask.csdn.net/questions/160864

不记得在哪篇博客还是stackflow上看到说是，网站改成js，重定向导致爬虫无法正常允许。

3. 解决措施

打算试下上面博客提到的Selenium，debug成功了再继续更新。