如何5分钟快速搭建pyspider爬虫平台基础使用环境

目标

• 搭建Pyspider基础使用环境

基础环境

• VPS：DigitalOcean
• OS： Ubuntu 16.04.3 x64

安装步骤（命令）

• shell > apt-get update
• shell > apt-get install python python-dev python-distribute python-pip libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml git
• shell > git clone https://github.com/binux/pyspider.git
• shell > cd pyspider
• shell > pip install -r requirement.txt
• 此时极可能会报错说python-mysql-connector这个依赖安装不了。
• shell > vim requirement.txt 打开文件，在那个mysql依赖前面加#注释掉。
• shell > pip install -r requirements.txt
• shell > python run.py
• 访问当前线上环境 xx.xx.xx.xx:5000端口即可

安全

• 如果直接python run.py 登录，系统是无权限控制的，因此可以使用-c参数。

python run.py -c xx.json
{
"webui": {
"username": "xxx",
"password": "yyyy",
"need-auth": true
}
}

参考资料

• 【Ubuntu的安装文档】http://docs.pyspider.org/en/latest/Deployment/