Hadoop招聘数据分析

观察对象：Hadoop相关工作的招聘数据
统计时间：2016.4.1
数据采集：李晨光
数据处理：郭创
图表制作：郭创
文章编写：郭创
特别感谢：DataAnswer
请微信搜索公众号并添加：DataAnswer
一、分析目的
前两天看到DataAnswer发了一个拉勾网大数据相关招聘数据分析，感觉很有意思，于是想简单分析一下智联招聘上的数据，而且我马上要实习了，也确实比较关心这事（哪位BOSS能收留我啊0.0本人南京大学的软件工程小硕一枚。邮箱：[email protected]）。我可不是写软广，一分钱都不给我！！！

二、数据采集
①　数据来源：智联招聘
②　采集人：李晨光
③　采集方法：问他去吧0.0
④　数据量：一共采集到100多页数据（6k多条，不多，Java相关超过十万条）

三、数据处理过程
将李晨光爬出的xml文件批量导入Access，删除部分无关字段后导出文本文件，上传到HDFS，编写HiveQL得到相应数据。有人可能会说，这么点数据用excel处理不就行了，确实如此，不过我想把我学的用上，而且我这么做，6K条可以，6亿条照样可以啊，加计算节点就可以了。

四、数据分析
1. Hadoop相关工作招聘信息在全国各城市的分布情况

十个以下职位的城市已被我过滤掉。由此图可知，目前Hadoop相关工作的招聘主要集中在北京、上海、深圳、杭州、广州、南京、成都这几个经济相对更发达的地区，尤其是首都北京，差不多是第二名上海的三倍。同学们要找Hadoop相关工作还是去北京吧，毕竟机会多很多。
2. Hadoop相关工作对学历要求的分析

由此图可知，Hadoop相关工作对学历的要求主要是本科，其次是不限，大专也比较多，而对硕士博士的需求非常少，加起来不到百分之三。这也可以看出Hadoop相关工作的门槛并不高，所以同学们还是不要听某些老师瞎扯，非得干几年J2EE才能转。
3. Hadoop相关工作对工作经验要求的分析

由此图可知，Hadoop相关工作对有3-5年工作经验的人需求最多，不过也有很多公司是不限经验的。同学们是不是有点心动了啊，先别心动，下面我来分析一下咱们最感兴趣的薪资问题。
4. Hadoop相关工作薪资分析

由此图可知，面议是远远高于其它的，我觉着面议应该至少10K以上吧，要不然那些公司好意思写面议吗。我把面议去掉，咱们再来看一下。

由此图可知，10K-15K最多，其次是15K-20K、20K-30K，总体上看，10K以上占据了大半壁江山。看完这些你还要继续做你的J2EE项目吗，赶紧投身到大数据的怀抱中吧！
五、结论
通过上面的分析，大致可以得出下面几个重要的结论：
1.大数据还只是北上广等经济发达城市发展得很热的新型行业，二三线城市还有待发展，所以要找大数据相关的工作就去北上广吧。
2.Hadoop相关工作对学历的要求主要以本科为主，就算没什么学历也是很受欢迎的，所以说它门槛不高，没学历的都能做，咱们研究生为什么不能呢，在此再一次鄙视某些老师。
3.Hadoop相关工作对有3-5年工作经验的人需求最多，不过其次就是不限经验，所以同学们赶紧投身到大数据的怀抱吧，早点入行！
4.Hadoop相关工作的薪资绝大部分在10K以上，还是比较高的。