爬虫框架使用--pyspider

开发环境

• ubuntu 16.04
• pycharm
• python 3.5.2

安装pyspider框架

• 安装phantomjs

sudo apt-get install phantomjs

• 安装依赖包(ubuntu 需要安装mac就不需要)

sudo apt-get install python python-dev python-distribute python-pip libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml

• 安装pyspider

pip install pyspider

验证安装

pyspider all

无报错信息，打开网页 http://localhost:5000 显示如下页面则安装成功

开发环境

• ubuntu 1.04
• pycharm
• python 3.5.2

安装pyspider框架

• 安装phantomjs

sudo apt-get install phantomjs

• 安装依赖包(ubuntu 需要安装mac就不需要)

sudo apt-get install python python-dev python-distribute python-pip libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml

• 安装pyspider

pip install pyspider

验证安装

pyspider all

无报错信息，打开网页 http://localhost:5000 显示如下页面则安装成功

---

迷之老王 | Big Data | 复杂数据环境下的一体化大数据解决方案。

扫码加群：

QQ群：迷之老王_BIG DATA