爬虫告诉你, 互联网大数据行业有多赚钱【数据挖掘&机器学习篇】

作者介绍：徐麟，目前就职于上海唯品会产品技术中心，哥大统计数据狗，从事数据挖掘&分析工作，喜欢用R&Python玩一些不一样的数据

个人公众号：数据森麟（ID:shujusenlin）,知乎同名专栏作者。

前言：

随着互联网大数据行业的日渐兴盛，越来越多的人投身其中，也有很多的朋友对此有着浓厚的兴趣，想要投身其中。从本期开始我们将分四期带大家走进互联网大数据行业，分别了解数据挖掘&机器学习、数据分析、算法&深度学习、数据产品经理这四个不同的与大数据相关的职位。

数据来源：

我们未来四期的数据主要来源于拉勾网，目前比较火的招聘网站猎聘、boss直聘、拉勾都有比较多的互联网职位介绍。我们基于以下几点原因选择拉勾：1.薪资大多有直接的范围，较少为面议 2. 企业数量较全，基本上涵盖了互联网相关公司 3.url地址相对比较规整，方便进行批量爬取。数据展示页面如下：

该部分使用Python中Selenium爬取，部分代码如下：

 while True:	
        try:	
            for j in range(15):	
                xpath = '//*[@id="s_position_list"]/ul/li['+str(j+1)+']'	
                a = driver.find_element_by_xpath(xpath)	
                job_desc.append(a.text)	
                job_code.append(a.find_element_by_class_name('position_link'	
                                ).get_attribute('data-lg-tj-cid'))	
            js="var q=document.documentElement.scrollTop=10000"  	
            driver.execute_script(js)	
            driver.find_element_by_class_name('pager_next').click()	
        except:	
            break

薪资情况：

我们将从多个角度去了解大家所关注的薪资情况，首先看一下各个城市的机会多少与平均月薪，如下图（气泡大小表示职位数量，柱形图高度表示平均月薪）：

可以看到，排名第八的武汉职位数量已经是北京的四十分之一了，排名靠后的城市职位数量小于20个。这一定程度体现了数据挖掘&机器学习职位在北上广深杭的集中性，除了五大城市之外，成都、南京、武汉未来也有着无限潜力。

下面看一下不同的工作经验所对应的职位数量与薪资情况：

可以看到拉勾网上大多的工作机会是针对于有工作经验的求职者。3年、5年工作经验也成为了两个比较重要的门槛，薪资会有明显的提示，这样说明了企业对于经验的看重

下面看一企业对于学历的要求：

需要注意的是，拉勾网上的学历要求为最低要求，实际工作中大家的平均学历会远高于图上所显示的。

我们来结合城市和经验看一下不同城市工作经验的提升对薪资的提升幅度：

北京在各个工作经验层面的薪资均处于全国领先位置，这也表明了帝都互联网中心的地位。在工作经验5-10年的对比上，广州的涨幅落后于其他几大城市，有在广州工作的朋友可以与我们分享下，这是否具有一定的现实性。

各大公司拉勾网提供平均月薪：

我们选取了在拉勾网上提供职位最多的十五家公司，BAT&TMD均在其中，也包括了搜狗、微博、网易这些知名互联网公司。出人意料的是提供职位薪资最高的是新浪微博，众所周知，一个企业内的实际平均薪资情况十分复杂，上述数据也只是其在拉勾网上放出职位的情况，仅供参考。

以上图表我们使用R语言ggplot绘制，代码如下（以公司薪资图为例）：

ggplot(company_com,aes(x=reorder(company,-salary),y=salary,fill=as.character(rep(1:5,each=3))))+	
  geom_bar(stat='identity')+	
  geom_text(aes(label=round(salary,2),y= salary+1),size=5)+	
  theme_wsj()+	
  scale_fill_wsj()+	
  scale_color_wsj()+	
  ggtitle('各类公司拉勾网职位平均月薪(K)')+	
  theme(axis.text.x = element_text(size=12),	
        axis.text.y = element_blank(),	
        plot.title = element_text(hjust=0.5,size=25),	
        legend.position='none',	
        panel.grid = element_blank(),	
        axis.title  = element_blank(),	
        axis.text = element_text(face='bold',hjus=0.8,size=10,angle=15)	
  )

期望月薪计算：

我们用线性回归模型，简易地帮助大家计算一下所可以期待的薪资情况（数据为月薪，单位为K），我们仅选取了经验、城市、学历三个因素，并没有考虑交互项、高次项等因素，结果仅供参考，实际情况要复杂很多：

所需技能&福利：

想要得到不错的年薪，除了上述一些硬件条件，个人所掌握的实际技能实际上会起到更加重要的作用，我们就来看一下入职数据挖掘&机器学习所需掌握的技能：

顺利入职之后，我们又可以得到什么样的福利呢，可以看一下下图：

我们可以看到除了传统的福利，技术氛围好、大牛云集、海量数据也成为了数据挖掘&机器学习职位用来吸引求职者的重要筹码。

最后祝愿目前已经从事和有志于从事数据挖掘工作的同学都能有一份满意的工作。未来几周会陆续更新【数据分析篇】【人工智能&深度学习篇】【数据产品经理篇】，敬请期待！

---

如果大家周围有对数据分析&数据挖掘感兴趣的朋友，欢迎在朋友圈分享&转发本公众号文章，让更多的朋友加入我们。有好的文章也可以联系我与大家分享，需要获取代码或者转载本公众号文章，可以直接在公众号或者文章下方留言。

往期文章：