爬取阿里招聘的启示

本文转至我在知乎上写的文章

---------------------------------------------------------------

在这样一个人工智能呼声越来越高，大数据遍地的时代，作为一个科技工作者，感觉不会点Python实在是说不过去啊。最近在看阿里招聘，正好借这个机会爬取并分析一下阿里的招聘信息，看看能不能有啥收获。

这里以阿里的数据岗，工作地点：杭州，职位类别：技术类，为搜索关键词。本想继续在Python中写一个loop来执行翻页命令的，发现直接翻页的话，地点信息和职位类别都会扩大，不仅局限于杭州和技术类。好在自己分析，不那么着急时间，那就用selenium驱动浏览器直接爬取吧。

要把数据爬下来总共分几步呢，先自己记好，后面直接按照这个frame丰富函数即可：

打开浏览器（完成转至网页，输入关键词等操作）——读取网页信息，提取数据——翻页——读取网页信息，读取数据……

第一步：打开浏览器

导入selenium库，以便打开网页：

from selenium import webdriver

导入Keys，以便能输入关键词数据和选中工作地点和职位类别：

from selenium.webdriver.common.keys import Keys

定义打开浏览器的函数，找到关键词位置并选中：

def open_browser(url): #打开浏览器，并选择杭州，技术岗，输入关键词‘数据’进行查找

browser.get(url)

elem = browser.find_element_by_xpath('/html/body/div[4]/div[2]/div/div[1]/div/div[1]/span/span/a[1]').click()

time.sleep(2)

elem_1 = browser.find_element_by_xpath('/html/body/div[4]/div[2]/div/div[1]/div/div[2]/span/a[3]').click()

time.sleep(2)

elem_2 = browser.find_element_by_id('keyword')

elem_2.clear()

elem_2.send_keys('数据'+Keys.RETURN)

time.sleep(10)

（在分析网页的时候，发现里面很多数据的标签的父节点一样，因此选用xpath爬取数据更加便捷）

第二步：读取网页信息，提取数据

先读取当前网页信息

#------------------------读取招聘页面信息---------------------------------

def read_page():

Content = browser.page_source

return Content

之后基于获得的网页信息，提取数据

def get_data(Content):

selector=etree.HTML(Content)

Job_information1=[]

Job_information2=[]

for i in range(1,20,2): #网页里面的很多信息的父节点相同，因此用Xpath爬取，并替换相应位置的数字会更快捷一些

job_name=selector.xpath(r'/html/body/div[4]/div[2]/div/div[2]/table/tbody/tr[%s]/td[1]/span/a/text()'%(i))[0].strip()

job_characteristic=selector.xpath(r'/html/body/div[4]/div[2]/div/div[2]/table/tbody/tr[%s]/td[2]/span/text()'%(i))[0].strip()

job_location=selector.xpath(r'/html/body/div[4]/div[2]/div/div[2]/table/tbody/tr[%s]/td[3]/span/text()'%(i))[0].strip()

recruit_number=selector.xpath(r'/html/body/div[4]/div[2]/div/div[2]/table/tbody/tr[%s]/td[4]/span/text()'%(i))[0].strip()

job_updatetime=selector.xpath(r'/html/body/div[4]/div[2]/div/div[2]/table/tbody/tr[%s]/td[5]/span/text()'%(i))[0].strip()

job_information1=job_name+'@'+job_characteristic+'@'+job_location+'@'+recruit_number+'@'+job_updatetime+'@' #用@替换便于后期在excel中分列

Job_information1.append(job_information1)

for j in range(2,21,2):

job_description=selector.xpath(r'/html/body/div[4]/div[2]/div/div[2]/table/tbody/tr[%s]/td/div/p[1]/text()'%(j)) #岗位描述和岗位要求两个结果是列表

job_request=selector.xpath(r'/html/body/div[4]/div[2]/div/div[2]/table/tbody/tr[%s]/td/div/p[2]/text()'%(j))

job_Description=''

job_Request=''

for k in range(len(job_description)):

job_Description+=job_description[k].strip()

for h in range(len(job_request)):

job_Request+=job_request[h].strip()

job_information2=job_Description+'@'+job_Request

Job_information2.append(job_information2)

return Job_information1,Job_information2

第三步：翻页

显而易见，这个点击右箭头就好了，不过我在这里试了好几种发现’>’的方式，发现by_link_text这种方式效果最好

def change_page():

elem_3 = browser.find_element_by_link_text('>').click()

随后只要把所有函数粘结起来就好了！

下面对获得的数据进行下可视化处理，看看能不能发现什么规律呢？

首先，从时间维度看阿里在12月之前招聘需求相对较少，仅在11月20日出现过一次105人的小高峰。随后进入12月，招聘需求显著增加，圣诞节达到峰值招聘423人。

这是为什么呢？作为一个没有离职过的人不懂啊，和职场的几个朋友（跳槽老油条）交流后，确认了是因为企业为了避免年后大量人员跳槽造成的用人荒，而提前做的人才储备。看来以后离职虽说年终奖要拿，但是11月份之前一定要先把简历优化好啊。

进一步，按照招聘方向统计结果也确认了，随着时间进入12月各个方向的人员招聘确实陆续增多，排在前三位的分别是：开发岗，算法岗，数据岗。

接着看下，各个部门在招聘过程中的需求情况。蚂蚁金服以22.2%的比例遥遥领先，阿里云11.8%跟随其后。足见，现在还是金融，云计算这些领域的市场缺口比较大啊，基础设施事业群第三，百度了一下，感觉是为其他业务部门提供技术支持的部门，可见阿里对平台框架构建的重视。

进一步量化分析下各个部门17年最后一个季度的招聘情况。蚂蚁金服最后一个季度招聘1449人，发布招聘信息286次。蚂蚁金服真的这么缺人么？

我基于时间线，对其中重复的职位名称进行了对比（这其中还不包括岗位描述一模一样但是名称不一样的职位），有93个职位发布信息次数超过2次，而且这其中一个职位最少要2个人，最多的例如下面这个位置居然一次需要40名java工程师。这个职位自12月20号发布以来，居然在25号和1月3号，又重新发布了2次（而且数量一次也没有减少哦）。又不是民工，这种高技术工种，5天时间招40个人的可能性不大吧。可见这个位置的需求比较迫切，另外是不是也能说明这个部门的领导比较push呢？所以我个人以为，金服未必有这么大的人才缺口，有些岗位比较紧迫，短时间内发布了多次招聘信息而已。

另外，有些部门招聘人数不多，但是却招聘了很多次，如基础建设事业群和安全部，是不是也是因为发布招聘信息次数过多呢？