[python3]win7/win10下安装scrapy

一、安装scrapy

0.环境为:python3.5+win7或win10

1.pip,下载地址:点击打开链接,下载完成后运行会自动下载安装

2.lxml,下载地址: 点击打开链接,下载完成后使用以下命令安装

pip install lxml-3.6.4-cp35-cp35m-win32.whl

3. setuptool,下载地址: 点击打开链接,下载完成后运行会自动下载安装

4.cryptography,直接使用pip命令安装

pip install cryptography

5.装MINGW,主要由于twisted在windows下不支持python3,步骤参考第二部分可能遇到的问题中的问题1(如果你装的时候twisted已经支持windows下python3了这步可略过)

6.重启(很重要!否则会出现各种奇奇怪怪的问题!)

7.下载scrapy1.1zip包,下载地址为:点击打开链接

8.解压后使用cmd进入解压后的目录,运行setup.py install

二、可能遇到的问题

以下内容汇总了csdnstackoverflow部分内容

1Python error: Unable to find vcvarsall.bat

安装MinGW(实测)

1、下载安装MinGW,下载地址为:点击打开链接

2、在MinGW的安装目录下找到bin文件夹,找到mingw32-make.exe,复制一份更名为make.exe

3、把MinGW的路径添加到环境变量path中,比如我把MinGW安装到D:\MinGW\中,就把D:\MinGW\bin添加到path中;

4、在安装目录>\distutils(需要在python安装目录下ctrl+f一下distutils)增加文件distutils.cfg,在文件里输入

[build]
compiler=mingw32 

保存;

2error: commandgccfailed: No such file or directory  

解决方案是将D:\MinGW\lib再添加到PATH中。

3ValueError: Unknown MS Compiler version 1900

Cygwinccompiler.py

get_msvcr()函数

elif msc_ver == '1600':
    # VS2010 / MSVC 10.0
    return ['msvcr100']

后面,添加以下内容

elif msc_ver == '1700':
    # Visual Studio 2012 / Visual C++ 11.0
    return ['msvcr110']
elif msc_ver == '1800':
    # Visual Studio 2013 / Visual C++ 12.0
    return ['msvcr120']
elif msc_ver == '1900':
    # Visual Studio 2015 / Visual C++ 14.0
    # "msvcr140.dll no longer exists" http://blogs.msdn.com/b/vcblog/archive/2014/06/03/visual-studio-14-ctp.aspx
    return ['vcruntime140']

然后将python3.5文件夹下的vcruntime140.dll复制到D:\MinGW\mingw32\lib

4、TypeError: unorderable types: NoneType() >= str()    

重启一下试试

5、error: The 'pyasn1' distribution was not found and is required by service-identity

在运行一下setup.py试试






你可能感兴趣的:(python,爬虫)