跟着教程做第一个小爬虫,输入命令
scrapy crawl baidu --nolog
#scrapy crawl+爬虫名 –nolog即不显示日志
结果报错Unhandled error in Deferred scrapy,百度了很久得到解决方案:
进入Python27目录下,手动安装,可以在命令行使用python Python27\Scripts\pywin32_postinstall.py -install
但是我的Python27目录下的Scripts文件夹中并没有pywin32_postinsatll这个文件,所以
1、https://www.lfd.uci.edu/~gohlke/pythonlibs/#pywin32,进入这个网站找到对应的python版本和系统版本下载,用pip install下载下来的whl文件。
2、进入Python27目录下,在命令行使用python Python27\Scripts\pywin32_postinstall.py -install,在安装过程出错,错误是无权限进行安装,于是我用管理员的身份开cmd再做同样操作,安装成功。
3、再一次进入爬虫目录,用命令启动爬虫,无错误产出。