Scrapy 是Python中的一个爬虫框架,下面以64位 win10+python3.7为基础,进行安装Scrapy框架。
1)安装Scrapy的依赖包:
1、下载
到 http://www.lfd.uci.edu/~gohlke/pythonlibs/ 下载所需要的包 cp37m 为python版本3.7
1) lxml-4.7.1-cp37-cp37m-win_amd64.whl ,
2) pywin32-303-cp37-cp37m-win_amd64.whl ,
3) twisted_iocpsupport-1.0.2-cp37-cp37m-win_amd64.whl
2、安装whl
pip install lxml-4.7.1-cp37-cp37m-win_amd64.whl
pip install pywin32-303-cp37-cp37m-win_amd64.whl
pip install twisted_iocpsupport-1.0.2-cp37-cp37m-win_amd64.whl
出现 [WinError 5] 拒绝访问,则pip后缀加--user pip install pywin32-303-cp37-cp37m-win_amd64.whl --user
3、安装Scrapy
pip install Scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple superset