CentOs7安装pyspider

参考资料

pyspider官网

CentOs7下安装pyspider

# 1. 安装前需要检查curl版本，用最新版7.64.1，否则可能安装失败（参考curl的安装）。
curl -V 

# 安装了curl后要覆盖以下文件，否则报错：ImportError: pycurl: libcurl link-time version (7.19.7) is older than compile-time version (7.54.1)
cp /usr/local/lib/libcurl.so /usr/lib64/
cp /usr/local/lib/libcurl.so.4 /usr/lib64/
cp /usr/local/lib/libcurl.so.4.5.0 /usr/lib64/

# 升级pip 并安装pyspider
pip install --upgrade pip
pip install pyspider

# 3. run command pyspider, visit http://localhost:5000/
pyspider

# 4. 如果执行错误，出现提示Deprecated option 'domaincontroller': use 
'http_authenticator.domain_controller' instead.
需要在安装包中找到pyspider的资源包，然后找到webui文件里面的webdav.py文件打开，
修改第209行即可。

# 把/usr/local/python3/lib/python3.6/site-packages/pyspider/webui/webdav.py 中的 
'domaincontroller': NeedAuthController(app),修改为：
'http_authenticator':{
    'HTTPAuthenticator':NeedAuthController(app)
},
# 然后再执行pyspider all就能够通过http://localhost:5000打开页面了

# 查找服务地址
which python3
# 查找pip安装的包
pip list

# 注意：如果提示命令pyspider找不到，则需要
vi ~/.bash_profile
# 添加以下内容
PATH=/usr/local/python3/bin/:$PATH
export PATH

# 目前pyspider在python3.7下会因为async关键字报错，因此需要降低python版本到3.6