一台电脑启动多个scrapyd

window环境，python3.7.0

找到包安装目录下的scrapyd配置文件..\Python37\Lib\site-packages\scrapyd\default_scrapyd.conf

打开default_scrapyd.conf的配置如下，修改bind_address = 0.0..0.0(允许远程访问)

[scrapyd]
eggs_dir    = eggs
logs_dir    = logs
items_dir   =
jobs_to_keep = 5
dbs_dir     = dbs
max_proc    = 0
max_proc_per_cpu = 4
finished_to_keep = 100
poll_interval = 5.0
bind_address = 0.0.0.0
http_port   = 6800
debug       = off
...
以下更多配置内容省略

 

复制default_scrapyd.conf这个配置文件到你要运行的scrapy项目目录下，并修改名字为scrapyd.conf

打开scrapyd.conf修改端口配置http_port = 6888，如下

[scrapyd]
eggs_dir    = eggs
logs_dir    = logs
items_dir   =
jobs_to_keep = 5
dbs_dir     = dbs
max_proc    = 0
max_proc_per_cpu = 4
finished_to_keep = 100
poll_interval = 5.0
bind_address = 0.0.0.0
http_port   = 6888
debug       = off
...
以下更多配置内容省略

在该scrapy项目目录下启动黑窗口，输入命令scrapyd -d 【scrapyd.conf所在的路径】

如下图，发现已经有6888启动scrapyd

在其他的项目同样的把scrapyd.conf复制过去，然后修改端口，然后项目目录启动。

后面scrapyd-deploy的时候，注意把项目里面的scrapy.conf文件里的端口号对应设置好就行。