Win7+python3.7+scrapy 1.5安装小记

之前一直在 python2.7下使用scrapy，有个问题一直解决不了，scrapy shell 中文一直没有办法显示，想了很多办法无法解决，所以决定换python3.7

安装好python3.7后用pip安装scrapy

#pip install scrapy

1 报错：Microsoft Visual C 14.0 is required
首先是去https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted找到对应的wheel文件（我的是Twisted-18.7.0-cp37-cp37m-win_amd64.whl），这个根据自己的python版本和系统版本来下载。

#pip install F:\360Downloads\Twisted-18.7.0-cp37-cp37m-win_amd64.whl

安装好这个包后继续pip install scrapy

2 报错： Could not find a version that satisfies the requirement win32api (from versions: ) No matching distribution found for win32api 改为

#pip install pypiwin32 成功解决。

3 出现报错：

File”c:\users\name\appdata\locall\programs\python37\lib\site-packages\twisted\conch\manhole.py”, line 12,in from twisted.conch import manhole, telnet

def write(self, data, async=false):
File”c:\users\name\appdata\locall\programs\python37\lib\site-packages\twisted\conch\manhole.py”, line 154
def write(self, data, async=false):

这里async下面出现报错，因为await async成为了3.7的关键字，不能作为变量名使用。
进入manhole.py将async全改成async1，一共有5个地方。

至此scrapy安装成功。

测试了一下，scrapy shell 中文输出的问题也得到了解决。

>>> response.css('title')
[]
>>> response.css('title::text')
[]
>>>