爬虫工作量由小到大的思维转变---＜第二十四章 Scrapy的`统计数据`收集stats collection＞
前言:前两篇是讲的数据诊断分析,还有一篇深挖`解决内存泄漏`的文章,目前我还没整理汇编出来;但是,想到分析问题的时候,忽然觉得`爬虫的数据统计`好像也挺重要;于是,心血来潮准备来插一篇这个------让大家对日常scrapy爬的数据,做到心里有数!不必自己去搅破脑汁捣腾日志,敲计算器了;正文:在Scrapy中，可以使用StatsCollection（统计信息收集）来收集和获取有关爬虫运行过程中的统