转载请在文章起始处注明出处，谢谢。
一、项目背景及目的
都说“男怕入错行”，既然想从事“数据分析师”这个岗位，那自然要对这个岗位有所了解。
本项目通过爬取拉钩网上该岗位的招聘信息，并进行分析，指导自己学习相关技能及准备简历。通过分析可以知道：
1、公司对数据分析师的招聘要求如何，比如学历、工作年限？一般什么样的公司会招数据分析师？
2、数据分析师的福利如何，是不是一个具有吸引力的岗位？
3、公司需要应聘者具备哪些能力，在工作中会用到哪些工具？
4、招聘公司的地域分布？
5、影响薪酬的因素有哪些？具体表现在哪些方面？
明确目的之后，我们就开始吧！
二、项目流程
1、数据获取与存储
数据获取有很多方式，比如网上下载公开数据、购买数据，如果公司有自己的数据库，可以直接调取数据进行分析，也可以通过编写爬虫、使用爬虫工具等方式获得。
由于拉钩网专注互联网招聘，数据较其他网站更简洁完整，且数据都是JSON格式，方便获取，所以本项目通过Python编写爬虫来爬取数据。
通过爬虫获取到：内容字段岗位名称title、月薪month_salary、公司名称company、所属行业industry、公司规模companySize、融资阶段financeStage、所在城市city、经验要求experience、学历要求education、全职/兼职jobNature、职位描述及任职要求description等信息。
由于拉钩网限制展示数据为450条，数据较少，所以获取到数据后直接写入到Excel中，也可以写入到MySQL等数据库中。
代码地址（点我）
2、数据清洗、分析
爬取到的数据如下图：
可以看到获得的数据中有“-”、“[]”等符号，有数据缺失、重复现象，所以需要先在表中将数据转换成我们所需要的格式。处理数据前要先将原始数据进行备份，方便后续查询。处理完的数据有429条，可以拿来进行分析了。
1）、首先，看一下数据分析师岗位关于学历及工作年限的要求，以及招聘公司的情况：
可以看出招聘需求学历主要为本科，其次是大专、研究生。
工作经验的需求分布近似于正态分布。工作3-5年工作经验的分析师需求量最大，其次是1-3年经验的熟手。工作经验不足1年的新人，市场需求量比较少。另外，工作经验要5-10年的需求量非常稀少。
几乎所有公司都需要数据分析师，D轮之后需求量相对较大。需求最多的两个行业是“移动互联网”、“金融”，从一个侧面也反映出越来越多的公司注重数据，尤其是变化最快的互联网行业。不过有一个有趣的情况是：刚完成A轮、B轮的公司对数据分析师需求较多，天使轮需求较少，可能是由于公司刚成立，不需要专门设立该岗位，随着公司越大，部门越多，分工越明确。
从上图可以看出，数据分析师更多的属于产品这一类，毕竟产品数据不分家。
可以看出：
数据分析师这个岗位学历门槛不是特别高，只要有本科文凭机会就挺多的。
数据分析这个岗位是一个比较年轻的岗位，大量岗位需要1~3年、3~5年工作经验。
“移动互联网”、“金融”是两个需求最多的行业，不同阶段的公司都有自己的数据分析岗位。
数据分析师一般属于“产品”类岗位。
2）、接下来再看一下数据分析师福利如何，有没有吸引力：
通过对职位标签、招聘公司标签进行词云分析，如下图：
可以看出，数据分析师岗位最明显的标签为“福利”，其次有“弹性”、“年终奖”、“团队”、“氛围”、“晋升”、“待遇”等。招聘公司出现最多的标签为“奖金”，其次有“绩效”、“期权”、“带薪年假”、“股票”等。
可以看出数据分析师的待遇及前景是有前途的、诱人的，招聘公司为了招到合适的员工也是甘愿下大价钱。此外“团队”说明这份工作需要分工合作，团队配合。
3）、再来看看企业要求应聘者所具备的能力，同样通过词云分析如下：
词云显示出的情况，可以看出：对于数据分析师这一岗位，企业需求频率最高的技能并不是 Python 语言和R语言等如今非常时髦的数据分析语言，而是传统的结构化查询语言SQL和表格神器Excel。看来要想从事数据分析师岗位，SQL和Excel是必备技能。
从词云上看出，数据分析师技能需求频率排在前列的有：SQL，Excel, SAS，SPSS, Python, Hadoop和MySQL等。另外，Java, PPT, BI软件等属于第二梯队。
4）、招聘公司分布情况如何呢？
由于爬取的数据为上海市的，那可以看一下不同区内公司分布情况，将公司地址中不同区进行分类统计，更直观一点，使用BDP进行可视化展示：
这张热力图可以看出，绝大多数招聘公司集中在内环，交通极为便利。但公司在浦东新区、闵行的看起来也不少，那是否说明郊区也有大量的招聘企业呢？为了印证这个问题，我们把公司所属商圈进行统计，发现大量公司集中在浦东的张江、陆家嘴、花木，闵行的漕宝路、华漕、莘庄等IT、金融企业聚集地。通过地图可看出，这些位置与上述“绝大多数招聘公司集中在内环，交通极为便利”描述是一致的。
5）、最后让我们来看看最关心的薪资待遇。
首先看一下大概的一个薪资分布：
大多数职位薪资为10~15k，但高薪数量也不少，可以看出数据分析师的薪酬收入整体还是可观的，从这方面说，选择这个职业还是不错的。
不同阶段公司提供薪水如何？
从中位数可以看出，越大的公司越能提供较高的平均薪资，而刚起步的公司薪资相对要少一些。但如果能力过硬、经验丰富，则可以在不同阶段的公司中拿到高薪。所以，如果想拿高薪，大公司是不错的选择。
这张图可以看出，随着工作年限增长，薪酬呈上升趋势，可见数据分析是一份长青的岗位。1~3年工作经验可以拿到12k左右的薪酬，而3~5年则可以拿到20k。
所以说，想拿高薪，需要更高的工作年限，换句话说需要更强的自身能力，较大的公司可以提供更为可观的平均薪酬。
三、分析结论
通过上述分析，结合自身实际情况可知：
1、数据分析师是一份非常有前景的职业，不同阶段的公司都需要数据分析师，更多情况下属于产品部门；
2、大部分招聘公司集中在市区，交通极为便利；
3、Excel+SQL是必须，如果想再进一步提高，更有发展，则需要学习 SAS，SPSS, Python中一个或多个；
4、薪酬方面，1~3年工作经验一般月薪10~20k，平均可拿到12k。当然能力越强可以拿的越多，大的公司可以提供相对较多的薪酬。
四、总结
通过数据分析，让我大致了解到“数据分析师”招聘的一些情况，更有针对性地强化相关技能，也指导我更新与投递简历。但此次的分析还是有些不足：数据量较少，分析工具主要使用的是Excel，而真正的数据分析则会面对更海量的数据、使用更有效的分析工具。此外数据分析师所需要具备的素质远不止这些工具，还需要有扎实的数学、统计学基础，良好的数据敏感度，开拓严谨的思维等，这也是我下一步需要学习的方向。