Pythonrequests库和selenium库爬虫性能比较

requests库大多人都知道,这里介绍一下selenium库:

该库能模拟浏览器,并按照网页具体内容实现自动化爬虫

由于许多网页转跳后的URL无法预测,所以requests库会出现很多批量爬虫的难题,如转跳网页不存在等

相比之下,selenium库模拟浏览器,能通过某些网页按钮,进行正确转跳,且大多同页面按钮的代码相同。

但selenium库由于要模拟浏览器打开加载,所以爬虫效率远不如requests库。

这里建议,一些URL无序的可以用selenium库,批量爬取已知网页内容还是用requests

(新手使用感悟,不喜勿喷,若有错,请纠正)

你可能感兴趣的:(Pythonrequests库和selenium库爬虫性能比较)