centos7-py36安装pyspider

install pyspider

## centos7

yum install –y make gcc-c++ python-devel libxml2-devel libxslt-devel libcurl-devel python36-devel

pip3  install virtualenv virtualenvwrapper

mkdir $HOME/workspace
export WORKON_HOME=$HOME/.virtualenvs
export PROJECT_HOME=$HOME/workspace
source /usr/local/bin/virtualenvwrapper.sh

mkproject  -p /usr/bin/python3 py3-pyspider

2,在虚拟环境中安装如下包

pip install 下面的包

certifi==2020.4.5.1
chardet==3.0.4
click==7.1.2
cssselect==1.1.0
defusedxml==0.6.0
Flask==1.1.2
Flask-Login==0.5.0
idna==2.9
itsdangerous==1.1.0
Jinja2==2.11.2
jsmin==2.2.2
json5==0.9.4
lxml==4.5.0
MarkupSafe==1.1.1
phantomjs==1.1.7
pycurl==7.43.0
pyquery==1.4.1
pyspider==0.3.10
PyYAML==5.3.1
requests==2.23.0
six==1.14.0
tblib==1.6.0
tornado==4.5.3
u-msgpack-python==2.6.0
urllib3==1.25.9
Werkzeug==0.16.0
WsgiDAV==2.4.0

3, 处理pycurl相关报错

pip3 uninstall pycurl
export PYCURL_SSL_LIBRARY=nss
pip3 install --ignore-installed pycurl

https://blog.csdn.net/jeff_/article/details/81215062

pyspider启动

## 命令行输入 pyspider
## 浏览器输入 ip:5000 

大礼包：virtualenvwrapper使用方法：

mkvirtualenv zqxt：创建运行环境zqxt

workon zqxt: 工作在 zqxt 环境

其它的：

rmvirtualenv ENV：删除运行环境ENV

mkproject mic：创建mic项目和运行环境mic

指定python版本创建mic项目和运行环境mic
mkproject -p /usr/bin/python3 py3-pyspider

mktmpenv：创建临时运行环境

lsvirtualenv: 列出可用的运行环境

lssitepackages: 列出当前环境安装了的包

创建的环境是独立的，互不干扰，无需sudo权限即可使用 pip 来进行包的管理。