Windows下给python安装scrapy详细教程

original url:

第一步：安装Python
我安装的是Python 3.4.2 32bit 版本，电脑上已经安装VS2015（vs是必须安装的，2008以上版本都可以，否则会运行报错）（一定注意安装过程中要勾选path变量） 我是默认安装在了C盘（3+版本的python是默认安装了pip和easy_install的，这两个东西是用来安装模块和扩展包的管理工具）

第二步：安装pywin32
下载官方网址：https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 如打不开，在https://sourceforge.net/projects/pywin32/下点击file一栏，然后点最新的Build,我选择的是Biuld 220.zip
文件格式是这样pywin32-220.win-amd32-py3.4.exe ；amd32表示你安装的32位的python；py3.4表示的是你的python版本是3.4系列，点击下载后，因为是.exe可执行文件，直接运行安装即可。
安装完成，在命令行python内，输入

    import win32

不报错即可。

第三部：安装pyOpenSSL
因为从2010年后的版本挂在了github上了，看客们直接去找下载也可以。
打开计算机的cmd窗口，输入
pip install pyOpenSSL
即可安装完成，在命令行python内入
import OpenSSL
不报错即安装完成。（注意大小写）
(有可能你输入pip install pyOpenSSL
提示你没有此命令，那可能是没给pip配置环境变量，也有可能输入后报错，类似这样的错误：scikit_image-0.12.3-cp27-cp27m-win32.whl is not a supported wheel on this platform 这个其实就是你的版本不够新，这时候可以在cmd命令中输入python -m pip install --upgrade pip升级你的pip
)

第四步：安装lxml
Windows下直接pip install lxml会报错(“make sure the development packages of libxml2 and libxslt are installed！”)所以按如下步骤：
下载网址：http://www.lfd.uci.edu/~gohlke/pythonlibs/
此网址内包括了很多的python扩展，可以使用Ctrl+F搜索 lxml 即可
这里的版本格式如下所示lxml-3.6.1-cp35-cp35m-win32.whl
在这里需要注意了：cp~ 代表不同的版本支持，我们需要先查看我们安装的python版本支持的是哪个版本，查看方法如下：在cmd命令行 python环境下输入

import pip
print(pip.pep425tags.get_supported())

如图所示：

可以看到，我的版本是cp34,win32 所以我选择的是lxml-3.8.0-cp34-cp34m-win32.whl
下载下来后，把下载的whl文件放在python/scripts文件夹下（当然，放在任何一个系统环境变量path路径上都可以）。
在命令行输入

pip install lxml-3.8.0-cp34-cp34m-win32.whl

即可安装，完成安装后，在命令行pyhton内输入import lxml不报错即安装完成
第五步：安装zope.interface
下载网址：https://pypi.python.org/pypi/zope.interface#downloads
或者到：http://www.lfd.uci.edu/~gohlke/pythonlibs/
格式如：zope.interface-4.4.2-cp34-cp34m-win32.whl
同样选择上面查看的已安装python支持的cp34，win32版本,此whl文件后面的安装方法如上一步骤的lxml安装方法
安装完成，在命令行python内输入import zope.interface，如果没报错，则说明zope.interface安装成功。

第六步：安装Twisted
官网上支持Windows的最新版本16.3.0，只支持python2.7，
不过没关系，我们在cmd命令行窗口直接使用命令pip install Twisted
即可安装完成（这要归功于我们前面安装的几个依赖扩宽，所以必须安装其他，最后再安装这个）
ps:这里可能会提示unable to find vocarsall.bat;
这时候不用担心，还是到http://www.lfd.uci.edu/~gohlke/pythonlibs/ 进行搜素（CTRL+F）twisted，

找到对应的版本，用pip install +文件名 在cmd命令下进行安装。
安装完成，在命令行python内，输入 import Twisted
(如果不提示找不到该模块的话，那就试试 import twisted ) 如果没报错，则说明安装成功。

第七步：最后一步，安装Scrapy
上面的铺垫做好了，我们终于可以享受到胜利的果实啦！在cmd中执行如下命令,pip install Scrapy 安装完成即可！完成后，在cmd输入Scrapy,如下图显示Scrapy信息即表示安装成功。

到此，我们终于完成了全部的Scrapy及相关组件的安装了，精心做此贴，就是希望后来者能少走弯路，多省点时间学习Scrapy爬虫框架。