作者 | 数据海洋
来源 | haiyangxinyong
结合自己的成长经验,从一个数据分析师成长为管理过近百人的数据团队的负责人,也许有不少经验和走过的坑可以总结,从而帮助大家。所以决定接下来写一个《数据分析师》成长记录。同时也回答收集到的各个问题。本篇写了数据分析师的入门需要的基本的知识,逻辑,工作方法。
数据分析师是企业在未来10年内最重要岗位之一,也许再过几年,对任何企业中的80%的岗位,都要求掌握数据分析能力。为什么?从几个层面简单来说:
①在行业层面:在大数据时代下,互联网、移动互联网与各个行业的结合,以及未来即将到来的物联网,各个企业面临的竞争压力越来越大,面对越来越快的用户需求变化,都需要基于数据来快速做出决策,决策的反馈越来越快。基于经验的反馈不是不重要,还是非常重要。但是现在是一个追求速度、追求快速迭代的时代,不管是个人与企业,能把经验+数据结合的人才也许是未来真正需要的。
②在企业层面:在现在这个大数据时代下,对各种数据的获取与处理已不是问题,2019年开始,很多企业都在说修炼内功,如何修炼内功,我想这个内功心法就是:“企业数字化”。
③在个人层面:每个人都在企业工作中都会收到各种各样的数据,面对这些数据,你必须具备的能力是知道怎么处理,怎么解读,怎么分析数据,怎么去开展工作,你需要基于相关的数据与分析!可以回答:
回到一个公司,数据分析师主要干什么的呢?数据分析师主要的价值体现在哪些方面,这是我几年前给数据分析师下的定义,现在看来非常适应。
数据分析师是从数据的角度,使用一定的方法与工具,对数据进行加工处理,结合商业场景进行结构化分析。帮助公司相关业务部门监控、定位、分析、解决商业问题,从而帮助公司业务部门高效决策,提升经营效率,发现业务机会点,让企业取得持续竞争优势。
例如,在企业内部,数据分析师经常回答这些问题:
坦白说,能理解这段定义,基本也知道数据分析师应该干什么,也知道数据分析师要具体什么样的能力了。
基于以上,数据分析师也必须深刻理解“数据是数据分析师的武器”。数据分析师要“懂数据”,什么叫“懂数据”,同时大家都说数据分析师要懂业务,数据分析师“懂数据”要分二个层面:
①数据是在哪个业务场景产生的,是对应什么样的业务动作。怎么理解?例如:在外卖这个场景中,配送开始时间是当配送员点击配送记录;配送结束时间是当配送员送到后点击配送结束。当你知道这个数据产生场景的时候,你就针对这个场景,要设计统计某个数据指标应该怎么计算:
该外卖单配送时长=配送结束-配送完成
当你以这个指标去衡量,作为一个很重要指标衡量外卖配送服务的时候,可以与配送设定目标相比,例如:希望是30分钟送到,那就这个值与30分钟比;或者说与顾客预约时间上限相比:配送结束时间小于顾客预约时间上限;当定义好这个数据指标:分析师就要基于这个相关数据以这个数据指标为方向,不断优化数字。
②数据质量。当以这个指标作为KPI,很容易会导致对数据“造假”。配送员迟点开始配送,或者是提前核销配送结束,以保证这个数值达到KPI目标。这里就是我们提到的第二个层面,数据质量问题。
该数据存在于哪个数据库,哪个表。需要知道数据存在哪,你要按上面的逻辑去加工,就需要一定的工具,往往是SQL是第一步处理;第二步可能需要更深入需要用到统计方法或者机器学习模型,往往要掌握一门工具,现在比较流行是Python。
小提示:
如果一个数据分析师,在你自己的企业内部,你能这样去“懂数据”,你会发现你工作就是围绕几个核心的“数据指标”开展,你也很清楚自己的价值是什么。
数据分析师的工作是怎样的,可以通过这个问题来回答: “海洋老师您好,目前转行在乙方坐数据分析。公司流程原因,没有机会接触业务,工作就像人工取数机,颠覆了我对数据分析的认识,而且自己认为只取数没有成长,而且没有任何价值。对下一份工作比较迷茫,想去业务想关的,但是不知道方向,谢谢海洋老师。”
这个情况,可能是甲方通过工单或者需求描述提个需求给你,叫你从数据库中提取数据,按要求来进行。往往就是要求保证按他的逻辑,或者他的定义来实现。
可能碰到的问题,就是数据提取的反复;往往可能是业务没有描述清楚导致;当然也有可能是你对底层表不熟悉,或者业务不熟悉在写SQL的时候或者构建报表的时候逻辑不对。
这个不仅仅在乙方,在甲方也许也有过之而无不及。有处理不完的数据需求,有处理不完的报表需求,哪有时间去思考业务?哪些时间去分析业务?哪些时间去了解业务?
①对团队新人,我之前说过;你每天抽1个小时,半个小时时间自己去思考:
你和提需求最多的业务伙伴有没有1对1沟通过。很多时候,约着一起吃饭,带着请教的问一下需求方,需要我们支持什么?你们现在主要的业务问题是什么?态度好一点,谦虚一点,当你服务一段时间后,你这样沟通会得到很多业务信息。
②难道你真的007了吗?
思维导图记录下来,写下你的思考;提个数据看看。
③你没有去关注些行业公众号或者相关网站,去看看同个行业的人是说什么,在干什么。虽然很多分享与演讲是最好的,所以一般是分享的最佳实践,也许不一定人家已经完成最佳实践了,但说明人家在路上,你也知道行业是什么样子的。
看完行业的文章,有没有结合一下。看看自己公司,自己做到大概是什么程度;对比是为了找到差距,不是抱怨,别人都做的那么牛了,我们还在“原始社会”。对比是为了:
看到别人的方向是什么,为自己或者团队提供参考。
对着别人的内容,我们可以参考做一做;基于看到的内容,如果自己要做好,自己能力上或者条件上是否还有欠缺。
了解业务是很多方法,比如:
成长经验分享:
能帮助企业解决问题,才是你作为一个数据分析师价值的关键。业务同学不关心你的掌握了什么技能,会用什么方法。更关注是不是你和说的内容和描述的需求,提出的问题,你能理解,你能和他交流的的来(用现在的词来说叫同频),他会觉得你懂业务。和你交流或者问题反馈给你应该是靠谱,有希望的。
对于数据分析方法与工具,是大多数据分析师或者很多人评估一个数据分析师是否有“技术”。你会使用hive,会spark,会python,我懂各种大数据工具,我懂各种机器学习模型。这个非常非常重要,但是可能相对来说:
成长经验分享:
我之前也花有很多时间去学习各种工具,R语言与python,SQL的各种技巧,excel各种技巧,但发现学习后很多不用就忘记了。其实学习的初心,就觉得学习会这些就很牛B的,就可以找到非常好的工作!成长下来:这是一个必要条件,而非充分条件。我学习的时候非常喜欢把学习笔记,自己的思考写下来。核心就是为了自己回过头去看看,去思考,去对比现在与当时。我写的内容当时主要为自己看,当然顺便也帮忙一些小伙伴。
SQL+EXCEL+PYTHON是必备要掌握的工具,SQL是核心,怎么强调都不过分。因为大多数据都数据处理都还是通过写SQL程度来完成,这个SQL语言不仅是在关系型数据库,而且现在各种大数据工具都会有SQL引擎,例如:hive,sparksql,clickhouse等都支持写SQL完成。
EXCEL就不用说了,就用于完成最后一公里;把EXCEL的做图,透视表,相关函数重点掌握了,一些特定的小技巧,碰到的搜索一下应该都能解决。当然看到一些小技巧也可以记录下来放到自己博客中,也方便查找。
Python 现在是未来要做统计,爬虫,机器学习,一些复杂数据处理逻辑必备的工具,所以有空我建议可以去学习;但是PYTHON非常大,还是建议先学习基础,有基础后结合实际工作中来用,不然会“云里雾里”。