scrapyd-完整细节

安装scrapyd服务

pip install scrapyd

安装scrapyd客户端

pip install scrapyd-client

安装好以后重新开启cmd输入命令

scrapyd

 出现以下结果代表安装成功

scrapyd-完整细节_第1张图片

打开浏览器输入网址,即可打开界面客户端

http://127.0.0.1:6800/

scrapyd-完整细节_第2张图片

scrapyd-完整细节_第3张图片

scrapyd-完整细节_第4张图片

回车后显示一下ok内容代表部署成功

 回到服务刷新就可以看到我们刚刚部署的项目了

scrapyd-完整细节_第5张图片

执行部分

进入地址下载应用程序-下载安装curl

curl - Download

scrapyd-完整细节_第6张图片

 点版本号哪里进去找下载

解下文件后进入到bin目录下复制完整目录,部署到环境变量

系统环境变量

scrapyd-完整细节_第7张图片

然后在进入path环境变量输入

%CURL_HOME%\l386

然后cmd  输入 curl --help

scrapyd-完整细节_第8张图片

执行刚刚部署的爬虫,project对应项目名称spider对应爬虫名称,跟scrapy里面的要一样

curl http://127.0.0.1:6800/schedule.json -d project=HangKong -d spider=hangkong

 如果报一下错误,终端显示ok但是服务端报错

scrapyd-完整细节_第9张图片

重开cmd安装一下命令,然后重启scrapyd服务端即可解决

pip install pywin32

然后再去执行启动爬虫命令,不报错了,且在前端可以看到执行日志

scrapyd-完整细节_第10张图片

你可能感兴趣的:(python)