【scrapyd】安装及其使用

编写日期：2018-10-16
scrapy版本：1.5.1
scrapyd版本：1.2.0
scrapyd-client版本：1.1.0
scrapyd官方文档：https://scrapyd.readthedocs.io/en/stable/overview.html

1. 准备

• ubuntu 16.04
• python 3.7.0(注1)
• scrapy项目stcn(注2)
  注1：twisted在python3.7下使用好像有些问题，需要自己修改部分源码，此处不作教程，建议直接使用anaconda3
  注2：此为scrapyd相关使用说明，因此不作scrapy相关使用说明

2. 安装

1) scrapy，scrapyd，scrapyd-client安装

在终端输入命令安装：

 pip install scrapy
 pip install scrapyd
 pip install scrapyd-client

3. scrapyd 文件配置

1) default_scrapyd.conf

在你的python目录下查找名为 default_scrapyd.conf 的文件（我的在\Python37\Lib\site-packages\scrapyd目录下），并根据自己的需求来修改参数。以下是我的设置：

[scrapyd]
eggs_dir    = eggs
logs_dir    = logs
items_dir   =
jobs_to_keep = 5
dbs_dir     = dbs
max_proc    = 0
max_proc_per_cpu = 4
finished_to_keep = 100
poll_interval = 5.0
bind_address = 0.0.0.0
http_port   = 6800
debug       = off
runner      = scrapyd.runner
application = scrapyd.app.application
launcher    = scrapyd.launcher.Launcher
webroot     = scrapyd.website.Root

[services]
schedule.json     = scrapyd.webservice.Schedule
cancel.json       = scrapyd.webservice.Cancel
addversion.json   = scrapyd.webservice.AddVersion
listprojects.json = scrapyd.webservice.ListProjects
listversions.json = scrapyd.webservice.ListVersions
listspiders.json  = scrapyd.webservice.ListSpiders
delproject.json   = scrapyd.webservice.DeleteProject
delversion.json   = scrapyd.webservice.DeleteVersion
listjobs.json     = scrapyd.webservice.ListJobs
daemonstatus.json = scrapyd.webservice.DaemonStatus

简单说明一下bind_address，如果你是作scrapyd服务器使用的话，需要设置为bind_address = 0.0.0.0，表示倾听所有IP的请求。我这里设置了0.0.0.0，是因为上传scrapy项目stcn的是局域网的另一台电脑；如果是默认的127.0.0.1，则scrapyd服务就只能本地使用啦。

4. scrapy项目A 文件配置

初始项目A结构如下：

|- stcn
    |- stcn
        |- spider
            |- __init__.py
            |- ...
        |- __init__.py
        |- items.py
        |- middlewares.py
        |- pipelines.py
        |- setting.py
    |- scrapy.cfg
    |- setup.py

1) scrapy.cfg

项目stcn下有一个 scrapy.cfg 的设置文件。取消url所在行注释，并将地址修改为你的scrapyd服务器的IP地址即可。所以我的url改为了scrapyd服务器的IP地址。

# Automatically created by: scrapy startproject
#
# For more information about the [deploy] section see:
# https://scrapyd.readthedocs.io/en/latest/deploy.html

[settings]
default = stcn.settings

[deploy]
url = http://192.168.1.105:6800/
project = stcn

2) scrapyd-deploy

在你的python目录下查找名为 scrapyd-deploy 的文件（我的在\Python37\Lib\site-packages\scrapyd-client目录下），并复制至项目stcn内。

最终项目A结构如下：

|- stcn
    |- stcn
        |- spider
            |- __init__.py
            |- ...
        |- __init__.py
        |- items.py
        |- middlewares.py
        |- pipelines.py
        |- setting.py
    |- scrapy.cfg
    |- scrapyd-deploy
    |- setup.py

5. 开始使用

1. 在浏览器输入你的scrapyd服务器网址

2. 在项目stcn目录下输入命令

python scrapyd-deploy

3. 在项目stcn目录下输入命令：

curl http://192.168.1.105:6800/schedule.json -d project=stcn -d spider=company

其中project填的是项目名称，spider填的是爬虫的名称。（这里服务器漏装了一个python库，所以第一次执行时保存到数据库的操作失败了，你们输一次就够了...）

4. 然后就成功啦

网页里还有一个logs列表，可以查看执行完成的爬虫的log，我这里就不贴图啦。

好像有点绕，但实际上上传scrapy项目和提供scrapy服务的是两台不同的电脑，所以看起来才这么绕吧...scrapyd的其他使用，我还需要慢慢摸索，以后更不更随缘吧，希望这篇教程能帮到大家。也欢迎大家指教指教~