用Python爬取300万条硅谷数据分析师的基本工资，发现……
每个在美国找工作的同学，最关心两件事：公司是否给办H1b？公司给多少钱？今天，我们通过大数据统计一下：
西海岸科技公司，哪个公司数据分析师招人最多？
西海岸科技公司，哪个公司数据分析师给钱最多？
数据集
我用Python抓取了http://h1bvisa.info网站的数据。数据结构非常简单，爬取非常容易：
来源：h1bvisa.info
数据虽然简单，但是它包含三类我们关心的重要信息：
雇主。此网站收集了美国移民局记录在案的所有雇主的h1b申请记录，从2013年至今一共280万条。对于没绿卡的同学，H1B是在美国工作的必要条件。所以，H1B数据对咱们更有参考价值。
职位。大部分科技公司对数据分析的岗位定义模糊且不统一。有些偏数据科学(Data Scientist)，有些偏商业分析(Business Analyst)。所以，我对数据做了一个关键词分类，把Data Scientist和Business Analyst统一划分为“数据分析”来处理。
基本工资。因为要向移民局备案，所以该网站的工资的信息百分之百靠谱。其他找工作网站比如Glassdoor，工资都是用户自己提供的，会存在很大的幸存者偏差。什么叫幸存者偏差？工资太低的同学可能不好意思往上写...
硅谷的科技公司给员工的package分为3个组成部分：基本工资 + 年终奖 + 股票。基本工资虽不能代表全部收入，但是基本工资也是有现实意义的。首先，所有公司都是在入职满1年之后才能够拿到第一笔股票。其次，年终奖都是来年过完年统一发放。所以基本工资可以认为是你工作开始的12个月之内能够拿到手里的钱。
问题1: 哪个公司招人最多？
看图说话。上市公司：
来源：米妮老师
四大独角兽：
来源：米妮老师
2018年招人最多：Google。Google近年来一直寻求多样化自己的产品线，而产品一旦做起来，都需要建立单独的数据分析团队。因此，Google对数据科学家的需求越来越大。
大量传统产品比如Google Map、Youtube，由于商业变现（monetization）渐渐提上议程，商业分析的需求越来越大。这个经验人士表示：之前在的Google Play，14年刚加入的时候分析师一共是5个，现在则有30来人。
另外一些新的产品，比如Google Photos（几个月拥有5亿用户）、Hareware（卖硬件的），基本上产品已经成型。不论是从优化产品、还是产品变现，每个产品都是从0到1的搭建数据分析团队。
2018年扩招最快：Google, Facebook, Uber, Amazon.
Uber/Lyft在4年之内涨了10倍（当然，一开始基数也很低），Amazon涨了4倍。这几家公司都是重运营，而运营需要大量的数据分析。
2018年缩招：Microsoft, Snapchat.
Microsoft连续两年招人数量下降了，内部原因我不清楚，欢迎Microsoft的同学在评论里和大家分享。
Snapchat上市之后业务不给力，光2018年似乎就裁掉了7%的员工，数据工作的缩减似乎也不可避免。大家也可以根据这个信息调整一下投简历的的策略。
总结：之前大家都说17年是北美工程师的求职寒冬。的确，许多科技公司并没有像几年前那样疯狂招人。比如Google Fiber在16年底正式被公司砍掉了，这也导致17年的很多工程师职位都内部消化了。但是，这不意味着整个科技公司也在缩招。数据表明，数据分析类职位形势一片大好。
问题2：哪个公司给钱最多？
看图说话。图中蓝色区域表示基本工资的分布。蓝色的棒棒代表基本工资中位数。
来源：米妮老师
给钱最多：Netflix, Airbnb, Lyft.
Netflix基本工资中位数是$165K，拉开其他公司一个档次，但是！Netflix很少股票，传说中的血汗工厂。之后的是Airbnb，基本工资的中位数也达到$144K。
Facebook钱排在第4位但是大量招人，非常值得大家踊跃投简历。
给钱最少：Uber, Amazon, Snapchat.
这三家公司基本工资的中位数都低于十万，和其他公司有一定差距。
Uber工资为什么这么低？
江湖上都传闻说Uber给钱巨多 ，但是好像现实不是这样：为什么Uber的基本工资这么低？
通过参考Paysa的数据，初步发现，Uber内部存在两种不同的数据职位：Data Analyst和Data Scientist。这两种职位很可能做的事情很不一样，所以造成了巨大的薪资差距。
先看Data Analyst。平均基本工资只有$75K，而且似乎不提供股票。
来源：Paysa(https://www.paysa.com/salaries/uber--analyst)
再看Data Scientist。平均基本工资达到了$120K，在我们的排名中已经可以排到中间了。加上股票等额外收入，相当可观。
来源：Paysa(https://www.paysa.com/salaries/uber--data-scientist)
既然谈到Uber，咱们也可以多关注一下老对头Lyft。Uber vs Lyft，都说Uber要上市，但去Lyft拿个高工资也不错？
另外，通过观测工资的概率分布，我们发现：有些公司比如Facebook，蓝色区域又细又长，这说明，Facebook给的工资范围比较大。
相比之下，Microsoft的工资分布肥且短，说明工资范围较窄。
我们不妨做出如下假设：工资分布的范围越广，入职基本工资的博弈空间越大。所以，同学们在入职之前，不妨对号入座，用不同策略进行工资谈判：硅谷新贵比如Airbnb，Facebook和Lyft的空间相对较大，而Google、Microsoft、Linkedin等老牌公司空间相对较小。
总结：找工作应该对工资有一个期望。根据这个期望，我们可以比较有底气的和雇主进行工资谈判。如果觉得谈工资伤感情，至少可以看看和同僚相比，雇主是给多了还是给少了。
花絮：工作地点如何选择？
由于科技公司喜欢扎堆，我们只需要比较三个地方：旧金山湾区，纽约，和西雅图。其他州也有少量岗位，比如Uber在匹兹堡有无人车研发中心，也有不少数据分析职位。
只看数据分析职位的工资中位数，纽约最高，湾区其次，西雅图略低。
但是，由于西雅图所在的华盛顿州不收个人所得税，西雅图虽然税前收入略低，但是第一年税后到手的现金反而比湾区、纽约略高。
来源：米妮老师
当然，如果额外考虑房价因素……没有对比没有伤害，在湾区工作的压力还是蛮大的。
数据来源：Zillow
总结
通过分析H1B数据，我们知道了如下几点：
从FLAG到独角兽，科技公司对数据分析职位的需求逐年上升。
Airbnb给钱最多，Amazon给钱最少。准备投Uber的同学可以考虑Lyft。
想买房，去西雅图。
完
01
微 信 群
添加小编微信：tangguoyemeng，备注“进群”即可，加入【云计算学习交流群】，和志同道合的朋友们共同打卡学习！
成为群成员，或拉人进群，
还有机会参与红包抽奖，获得免费赠书哦~~
02
征 稿
CSDN作为国内专业的云计算服务平台，目前提供云计算、大数据、虚拟化、数据中心、OpenStack、CloudStack、机器学习、智能算法等相关云计算观点、技术、平台、实践、云产业咨询等服务。CSDN 公众号也一直坚持「与千万技术人共成长」的理念，深度解读行业内热门技术与场景应用，致力于让所有开发者保持敏锐的技术嗅觉、对行业趋势与技术获得更广阔的认知。
文章题材
首先你需要关注我们的公众号“CSDN云计算”，这样你会更准确了解我们需要的文章风格；
侧重于云计算领域相关的文章，可以是技术、运维、趋势等方面的务实内容；
原创，要求文章有鲜明观点和看法。
投稿须知
稿费：根据原创性、实用性和时效性等方面进行审核，通过的文章会发布在本微信平台。一经采用，我们将支付作者酬劳。酬劳可能不多，这代表的是一个心意，更多是因为爱好，是有识之士抒发胸怀的一种方式；
字数要求：稿件字数以2K-8K为宜，少于2K或多于8K都会一定程度降低阅读愉悦感；
投稿邮箱：[email protected]。或者添加微信表明来意，微信号：tangguoyemeng。请备注投稿+姓名+公司职位。
如果咱们的合作稳定又愉快，还可以签订合同长期合作哦！