pyspider安装使用

安装步骤：

安装pyspider：pip3 install pyspider

安装phantomjs：apt install phantomjs

 

bug解决：

1、安装完爬虫框架pyspider之后，使用pyspider all 命令，输入http://localhost:5000运行就出现错误：

ValueError: Invalid configuration: - Deprecated option 'domaincontroller': use 'http_authenticator

原因是因为WsgiDAV发布了版本 pre-release 3.x。

解决方法如下：

在安装包中找到pyspider的资源包，然后找到webui文件里面的webdav.py文件打开，修改第209行即可。

把

'domaincontroller': NeedAuthController(app),

修改为：

    'http_authenticator':{
            'HTTPAuthenticator':NeedAuthController(app),
        },

 

 

2、

 from werkzeug.wsgi import DispatcherMiddleware
ImportError: cannot import name DispatcherMiddleware
 

原因：

1、没有安装werkzeug

2、werkzeug的版本为1.0.0，这个版本中没有DispatcherMiddleware方法

解决办法：

卸载werkzeug，重新安装低版本的werkzeug

    #卸载
    python3 -m pip uninstall werkzeug
    #安装指定版本
    python3 -m pip install werkzeug==0.16.0

 

3、Error: Could not create web server listening on port 25555

检查25555进程是否被占用
lsof -i:25555

从图片中可以查看进程25555被phantomjs占用，kill掉这个进程就可以了

然后再运行pyspider