selenium爬取网页的性能问题

5个浏览器窗口(5个线程),每小时3000个网页,理论上一台4C*8GB的台式机能达到每小时6-8000的网页(除掉带宽/对方防爬和对方服务器性能优越),对难搞的网站抓取性能还是不错的!

你可能感兴趣的:(selenium使用笔记)