scrapyd 的安装

scrapyd 的安装

       Scrapyd是一个用于部署和运行Scrapy项目的工具，有了它，你可以将写好的Scrapy项目传到云主机并通过API来控制它的运行。

       本文介绍的是Scrapyd在Linux上和mac上的安装流程。

1. 相关链接

1. GitHub：https://github.com/scrapy/scrapyd
2. PyPI：https://pypi.python.org/pypi/scrapyd
3. 官方文档：https://scrapyd.readthedocs.io

2. pip安装

1. 要说安装方式肯定是用pip或者pip3，pip的安装过程本文就不过多的赘述了。

2. pip3 install scrapyd # pip3的安装指令
   pip install scrapyd  # pip的安装指令
   

    

3. 配置

1. 经过了上述操作之后，需要自己手动创建一个配置文件，这个配置文件的目录位置“/etc/scrapyd/scrapyd.conf”，Scrapyd在运行的时候就会读取此配置文件。
2. 第一步：执行如下命令创建文件：

   sudo mkdir /etc/scrapyd
   sudo vim /etc/scrapyd/scrapyd.conf

    

3. 接着写入如下内容：

   [scrapyd]
   eggs_dir    = eggs
   logs_dir    = logs
   items_dir   =
   jobs_to_keep = 5
   dbs_dir     = dbs
   max_proc    = 0
   max_proc_per_cpu = 4
   finished_to_keep = 100
   poll_interval = 5.0
   bind_address = 127.0.0.1
   http_port   = 6800
   debug       = off
   runner      = scrapyd.runner
   application = scrapyd.app.application
   launcher    = scrapyd.launcher.Launcher
   webroot     = scrapyd.website.Root
   
   [services]
   schedule.json     = scrapyd.webservice.Schedule
   cancel.json       = scrapyd.webservice.Cancel
   addversion.json   = scrapyd.webservice.AddVersion
   listprojects.json = scrapyd.webservice.ListProjects
   listversions.json = scrapyd.webservice.ListVersions
   listspiders.json  = scrapyd.webservice.ListSpiders
   delproject.json   = scrapyd.webservice.DeleteProject
   delversion.json   = scrapyd.webservice.DeleteVersion
   listjobs.json     = scrapyd.webservice.ListJobs
   daemonstatus.json = scrapyd.webservice.DaemonStatus

    

4. 后台运行

1. Scrapyd是一个纯Python项目，这里可以直接调用它来运行。为了可以使程序一直可以在后台运行，Linux和Mac可以使用如下命令：

   (scrapyd > /dev/null &)
   

   这样Scrapyd就会在后台持续运行了，控制台输出直接忽略。当然，如果想记录输出日志，可以修改输出目标，如：

   (scrapyd >~/scrapy.log &)
   

   此时会将Scrapyd的运行结果输出到～/scrapyd.log文件中。当然也可使用screen、tmux、supervisor等工具来实现进程守护。
2.  运行之后，便可以在浏览器的6800端口访问Web UI了，从中可以看到当前Scrapyd的运行任务、日志等内容，如下图中的图片：
3.  上述看到后，就算是安装OK了。