python-pyspider-安装-入坑记录

前言：由于之前爬虫都是使用requests+BeautifulSoup来写，从未使用过爬虫框架来写，本来打算来尝试一下pyspider框架。没想到在安装的时候就遇上很多坑。特意开贴来记录一下。
mark一下版本：python3.7 （32位）

安装之前，在网上搜索过pyspider，看到一些文章（有些文章是2、3年前写的了），说安装这个框架之前要先安装一些库。本以为在python3.8的Pre-releases都已经放出的今天，pyspider作为一个比较知名的爬虫框架，应该相关功能比较完善，安装过程会顺风顺水，没想到竟然是入坑的开始。。。

老步骤，第一步当然是pip install pyspider。
（太久没升级pip的可能会提示Your are using pip version xxxx, however version xxxx is available…这个时候你升级一下你的pip就行了，输入python -m pip install --upgrade pip等读条结束，再pip install xxx）

① 3.7版本的python一般第一个会遇到坑会提示你没有安装pycurl。
是不是想立马pip install pycurl解决？嘻嘻，掉进第二坑

② pip install pycurl报错“Please specify --curl-dir=/path/to/built/libcurl”。
？？？这应该是指定curl dir到/path/to/built/libcurl目录，这个应该是linux环境下的路径。经搜索解决方法，只能使用wheel轮子大法了
打开https://www.lfd.uci.edu/~gohlke/pythonlibs/，按下Ctrl+f调出搜索框，搜索pycurl。点击查找到项会跳到pycurl对应的位置。你会看到有很多版本可以下载，例如类似下面这种

PycURL, a interface to the libcurl library.
pycurl‑7.43.0.3‑cp27‑cp27m‑win32.whl
pycurl‑7.43.0.3‑cp27‑cp27m‑win_amd64.whl
pycurl‑7.43.0.3‑cp35‑cp35m‑win32.whl
pycurl‑7.43.0.3‑cp35‑cp35m‑win_amd64.whl
pycurl‑7.43.0.3‑cp36‑cp36m‑win32.whl
pycurl‑7.43.0.3‑cp36‑cp36m‑win_amd64.whl
pycurl‑7.43.0.3‑cp37‑cp37m‑win32.whl
pycurl‑7.43.0.3‑cp37‑cp37m‑win_amd64.whl
pycurl‑7.43.0.3‑cp38‑cp38m‑win32.whl
pycurl‑7.43.0.3‑cp38‑cp38m‑win_amd64.whl

选择你与以安装python版本相同位的，比如我安装的是python3.7（32位），那我就选择pycurl‑7.43.0.3‑cp37‑cp37m‑win32.whl这个文件进行下载。
下载完成以后，使用“pip Install whl文件路径“进行安装。例如pip Install G:\pycurl‑7.43.0.3‑cp37‑cp37m‑win32.whl。

最后，再使用pip install pyspider，你会看到进度条们都刷刷地到达100%，然后会欣喜的看到Successfully installed XXX安装成功的字样。

参考文章：
Windos下安装pyspider报错:Please specify–curl-dir=/path/to/built/libcurl解决办法
Python3.7安装pyspider