scrapy telnet 监测爬虫运行和性能问题
1. 安装 telnet
Mac 系统： brew install telnet
其他 系统：略
2. 运行scrapy爬虫
scrapy crawl your_spider
3. telnet 监测爬虫运行
- telnet localhost 6023
- est ( ) : 查看爬虫引擎各组件的运行状态
- p(stats.get_stats()) ：查看爬虫已经运行的各项指标
est() 参数详解：
1. len(engine.downloader.active) : 16 --> 下载器中的请求数
2. engine.spider.name : exchanges --> 监控的爬虫name
3. len(engine.slot.scheduler.mqs) : 4564 --> 调度器中的请求（等待被调度处理（下载））
4. len(engine.scraper.slot.active) : 10 --> 正在处理的响应数
5. engine.scraper.slot.active_size : 241566 --> 正在处理的响应大小（240KB）
6. engine.scraper.slot.itemproc_size : 0 --> pipeline处理中的item的数量
p(stats.get_stats()) ：查看爬虫已经运行的各项指标
1. 'item_scraped_count': 2804157 --> pipeline处理完成的item数量
2. 'response_received_count': 28093 --> 请求完成的url数量
4. telnet 监控端口的特殊情况处理
通常情况开启的是6023端口，如果同时运行scrapy爬虫较多的情况，会在【6023，6073】端口之间随机分配。
注意查看你需要监测的爬虫程序开启的端口号（如下图所示），telnet localhost port 改成指定的端口号即可。
------------ END------------