前言
自从学了python爬虫后就想去找一份爬虫的工作,但是简历如何写作是个问题,就想到了何不用爬虫去爬取别人的简历模板一看,找了一些网站最后看最准了站长之家。
一、分析网页结构
进入到站长之家,我们可以看到免费的offer一共有426页之多,把这些全部爬下来也足够使用了吧,
我们右键检查,选中一份简历,明显可以看到进入这份简历的链接,然后点击这个链接进入到这份简历的页面里。
往下翻可以看到下面有很多下载的地址,什么福建,山东,江苏,广东,厦门等,随便点击一个都可以下载的,还是右键检查一下,选中一个下载的地址,也可以看到下载的链接就在这里面。
好了,我们接下来的工作就好办了,只要把这两个链接用正则取到,在请求不就好了吗,就这么简单。
二、编写python代码
我们先请求站长之家的链接获取到网页源代码,在用正则提取出第一个链接就好了。
在请求这个链接,提取出下载链接,在请求下载链接就可以下载到本地了。
好了,小伙伴是不是觉得很简单,感觉python爬虫就是这样,只要找到了链接,在用正则提取就行了,思路要清晰。