Scrapy

安装

Twisted与Scrapy的安装

twisted下载地址
python3.7.0的环境, 我这里安装了Twisted-18.7.0-cp37-cp37m-win_amd64.whl

pip install Twisted-18.7.0-cp37-cp37m-win_amd64.whl
pip install Scrapy

---

创建项目

scrapy startproject spider

---

目录

scrapy.cfg: 项目的配置文件
tutorial/: 该项目的python模块。之后您将在此加入代码。
tutorial/items.py: 项目中的item文件.
tutorial/pipelines.py: 项目中的pipelines文件.
tutorial/settings.py: 项目的设置文件.
tutorial/spiders/: 放置spider代码的目录.

---

创建测试项目

scrapy genspider [-t template]
介绍: 这仅仅是创建 spider 的一种快捷方法，该方法可以使用提前定义好的模板来生成 spider, 您也可以自己创建spider的源码文件。

scrapy genspider example1 hz.58.com

---

测试

scrapy crawl example1

报错

百度后的解决方案, 找到manhole.py这个文件, 修改其中的变量async为其他的变量, 例如:shark
此错误解决方案参考文章

---

再运行scrapy crawl example1继续报错

报错

安装win32(下载和python版本对应的) win32-py.exe

---

安装之后继续执行

成功