爬虫模块安装

安装爬虫框架

1.pyspider

直接使用命令pythonc -m pip install
pyScrapy安装的版本与当前版本3.7不匹配，因为syntax在python3.7版本为关键字，所以解决办法是修改源文件。修改后还是无法启动，我们可以通过报错看到错误的地方，继续修改，具体操作如下：

1. 找到pyspider模块文件夹中的run.py文件，修改其中的syntax关键字；
   
2. 把webui文件夹中的app.py文件中关键字syntax也修改；
   
3. 打开webdav.py文件把第209行的代码替换为
   'http_authenticator':{ 'HTTPAuthenticator':NeedAuthController(app), }
4. 然后打开在命令行输入pyspider all，如出现如下命令则配置成功，接着打开浏览器输入http://localhost:5000
   

2.pyScrapy

安装pyScrapy过程中报错，看似是要安装 Microsoft Visual C++ 14.0，实则不然，building ‘twisted.test.raiser’ extension这一句话才是关键。

• 解决方法：

1. http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载twisted对应版本的whl文件；
2. 安装下载的文件，最后安装pyScrapy即可成功；