安装环境:
scrapy底层库依赖C语言编译环境,目前Python3.5和Python3.6依赖的编译环境是Visual C++ 2015 Build Tools
,需要先安装Visual C++ Build Tools,如果已经装了Visual Studio 2015机器,就不需要重新再安装Visual C++ 2015 Build Tools,详情见https://wiki.python.org/moin/WindowsCompilers
pip install lxml
如果通过pip安装lxml不成功,建议手动下载安装文件,地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
根据相应系统选择适合的安装文件
下载后,切换到下载安装文件的目录,执行pip install lxml-xxx.whl
, lxml-xxx.whl指的是你下载的lxml安装文件名字
pywin32需要手动在下载安装文件安装,地址:https://sourceforge.net/projects/pywin32/files/pywin32/
选择合适的操作系统版本下载安装
如果通过pip安装不了Twisted,同样建议手动下载安装文件,地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
根据相应系统选择适合的安装文件
下载后,切换到下载路径,执行pip install Twisted-xx.whl
,Twisted-xx.whl指的是下载的Twisted安装文件名字
验证下scrapy是否安装成功
安装 Twisted过程中,如果出现这个错误提示,说明需要安装zope.interface模块,如果pip 安装失败,可以手动下载zope.interface进行安装,地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/#zope.interface
如果安装成功zope.interface后,使用scrapy时,依旧报这个错误,建议先执行将安装的zope.interface先pip uninstall,再重新安装下载的zope.interface安装文件。
如果环境需要连接mongo,pip安装盘pymongo失败,也需要手动下载pymongo安装文件,但是截至2017-03-09为止,最新的whl只支持python3.5,:地址:https://pypi.python.org/pypi/pymongo,如下图
因此需要进行源码安装pymongo,下载pymongo-3.4.0.tar.gz
解压pymongo-3.4.0.tar.gz,进入切换到完全解压后的目录,执行pip setup.py install
进行安装。