9.使用scrapy爬取拉钩招聘数据

对于拉勾网这种设置了基础反扒措施,如果不设置代理,基本上是无法将信息抓取下来的。这里有一个UA集合,只需要加载这个库,就可以进行多个UA之间的随机切换。fake-useragent

在执行代码之前,需要确认是否加载了各个模块,没有加载的,加载一下就好了。

这里是第一次使用fake-useragent,需要先下载下,在cmd.exe下,输入pip install fake-useragent

然后就可以执行代码了。
项目地址:scrapy_lagou

你可能感兴趣的:(9.使用scrapy爬取拉钩招聘数据)