Scrapyd 安装与配置

本文以ubuntu16.04为基础进行安装。

1、使用命令安装scrapyd：

sudo pip3 install scrapyd

2、配置
执行如下命令创建配置文件：

sudo mkdir /etc/scrapyd
sudo vim /etc/scrapyd/scrapyd.conf

然后到如下网址将配置文件内容复制进去，保存即可：

https://scrapyd.readthedocs.io/en/stable/config.html#example-configuration-file

如下图：

3、运行

在终端直接输入scrapyd 即可

在浏览器中访问：127.0.0.1:6800 如下图：

4、Scrapyd-client安装
执行命令：

sudo pip3 install scrapyd-client 

安装成功以后，使用如下命令验证安装是否成功：

　scrapyd-deploy -h

出现以下界面 代表安装成功

5、Scrapyd API安装

sudo pip3 install python-scrapyd-api

Scrapyd API可以获取当前主机的Scrapy任务运行状况。