39.爬虫管理模块总结
Scrapy 爬虫项目管理:
Scrapyd、scrapyd-client、Gerapy、spiderkeeper
————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————
1.scrapyd 是一个用于部署和运行scrapy项目的工具，通过它，可将写好的项目放到云主机并通过API控制运行。
————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————
2.scrapyd-client
将项目代码部署打包 scrapyd-deploy -h
————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————
3.Gerapy
Gerapy 是一个Scrapy分布式管理模块。
————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————
4.Spiderkeeper 可对项目进行定时管理及可查看日志log
posted on
2018-10-23 14:24 五杀摇滚小拉夫 阅读(
...) 评论(
...) 编辑 收藏