在winodw上使用scrapy框架时,需要安装很多的依赖库。
其他库基本都可以使用 PIP 安装,非常方便,会自动帮你安装所需依赖库。
直接 pip install scrapy 就可以使用了,但是在运行时会发现出错。找不到 win32api,win32com,win32stdio等错误。
解决方法:
1. 安装pywin32 。scrapy 的运行需要pywin32这个第三方库的支持,而这个库无法用pip直接下载。需要到到以下网站下载与你电脑python对应版本的程序进行安装。
网址:https://sourceforge.net/projects/pywin32/files/
但是在安装后,有可能依然会报错 cannot import name '_win32stdio' 。
2. 那证明安装的 twisted 库是有问题的,其中缺少win32stdio文件。 原文件地址应该是 (你的python文件夹)/lib/site-packages/twisted/internet/win32stdio.py 。
你百度解决方案时,会有英文的让你下载git-hub上twisted库里的两个相关文件复制进去。
这里提供个无脑方法:
① 卸载原先安装的 twisted 库。 pip uninstall twisted
② 下载twisted 库文件。下载地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载的是whl文件。设保存路径为:F:\chromeDownloads\Twisted-17.1.0-cp36-cp36m-win_amd64.whl
③ 安装wheel 库, pip install wheel
④ 安装twisted 库, pip install F:\chromeDownloads\Twisted-17.1.0-cp36-cp36m-win_amd64.whl
就这么简单,自动安装,无需手动进行文件更改,不用担心版本不对应等问题。