BAT专家：关于数据分析的一些思考

Spring，BAT数据分析专家，网易云课程畅销课《数据分析思维案例实战》、《互联网数据分析职场课》的作者

【与数据同行】已开通综合、数据仓库、数据分析、产品经理、数据治理及机器学习六大专业群，加微信号frank61822702 为好友后入群。新开招聘交流群，请关注【与数据同行】公众号，后台回复“招聘”后获得入群方法。

正文开始

1、 如何看待数据产品经理这个岗位，它与数据分析师有什么区别，个人能力有什么不同？

数据产品经理的定义：服务于数据产品的规划、研发、上线和交付。是针对数据产品的，在两种情景下会真正需要该岗位：

1）当前公司部门正在规划一些数据产品的开发，目的是服务于内部。像大数据平台、搜索指数、公众号指数、用户洞察、大屏演示这些都是.

新榜微信公众号数据产品

举个例子：有些公司管理层希望每天早上9点在手机上能够看到产品的重要数据，针对这样一个需求，有很多种实现方式：可以微信群9点自动化发送数据，有不少缺陷，比如微信群权限不好控制，同时数据泄露风险较高；还可以小程序内开发一套核心数据仪表盘，并提供订阅和洞察功能.

 

以上面这两张图为例，大家想一想，我们要把这些产品打磨出来，是不是涉及到需求沟通、产品设计、产品开发、产品测试、产品上线。和一般产品的差别就是这是一个数据产品，要求你对数据很熟悉。

需求沟通：任何事情第一步都是先聊清楚，数据产品这里更加要聊清楚，最好是有正式邮件给出明确需求list

产品设计：你要对内部表、字段、口径、页面展现都想清楚并画出草图

产品开发：你来开发或者数据工程师来开发，一般都是你来开发

产品测试：你来安排测试

产品上线：你来负责上线

一般来说，是数据工程师转行做内部数据产品经理比较好，因为是服务于内部，所以重设计和开发

 

2）当前公司部门正在规划一些数据产品的开发，目的是服务于外部。比如阿里云上的大数据产品

可以看出，就是把大家平时用到或者未用到的产品拆解的很细，分成很多功能模块。像大数据平台包括底层数据采集、数据存储和计算、数据管理、数据分析与展示、用户画像、商品画像、个性化推荐引擎、智能营销。每一个部分其实都可以对外，而一旦对外，数据产品经理的侧重点又不太一样。

举个例子：你作为一家第三方大数据公司的数据产品经理，最近客户有个用户智能营销需求，比如是这样：实现用户底层数据的打通、用户画像的输出、同时用于营销活动

请问你的第一感觉是什么？如果你觉得你可以做，就太想当然了

 

大家平时都是在接触自己内部的产品，对场景、平台、端、人、事都非常熟悉了，但是对外的话，你一无所知，你了解的仅仅是客户这一句话。

作为数据产品经理，首先要看该需求是不是市场主流需求，如果不是可能就没必要做，如果是的话，你要多次与客户沟通去让客户把需求list化，在这个基础上，写明交付功能、以及功能的文字解释。

 

该案例中，假设与客户确认好是要给用户开发标签，这个时候还要写清楚，开发什么类型标签、通过代码开发还是人工配置开发、开发完之后就完事了还是要和其他服务对接、实施规划、实施文档等等，所有的一切都要写的清清楚楚、明明白白。

过了这一步后，接下来就是产品的设计与开发了。比如标签创建是如下设计而不是单纯的SQL计算，同时你还要给客户demo演示

 

 

可以看出，对外的数据产品经理对市场、客户沟通、产品细节沟通、文字功底、产品包装、项目把控要求很高，这都是分析师的强项，因此适合数据分析师转外部数据产品经理

 

基本上到这里大家应该就已经能够看出数据产品经理与数据分析师的区别了，绝对是两个岗位，分析师日常更多的还是给业务团队提供决策，而数据产品经理偏产品规划和设计开发。只有有了数据分析经验，才能够转行做数据产品经理，否则很大概率会给自己或者别人挖坑，对内这个坑还可以填一填，对外的话公司品牌都会受到影响。

 

随着产业互联网的兴起，未来需要一批非常出色的对外数据产品经理，所以分析师要做好准备。

 

 

2、 能否讲一讲数据仓库、大数据平台、数据中台之间的演变过程，他们之间又有那些联系和区别？

演变过程不敢说，怕显得自己年纪大：），直接说我的理解。

数据仓库：因为数据量太大延伸出的数据产品，对数据进行梳理，确保数据的一致性，最终目标是提升数据使用效率，所以在应用层更多还是OLAP这一套。很多中小型公司，甚至一些披着羊皮的狼的大公司，往往在这方面都很差，提个数非常慢，这并不奇怪，因为数据仓库很难直接看到价值，而且建设过程还巨缓慢，所以在建设的时候半吊子工程可能性比较大。

大数据平台：纵向：基于数据采集，底层是数据仓库，中间层数据智能分析，上层是数据应用服务；横向：元数据管理和任务调度、监控。只有这样才叫正儿八经的大数据平台，很多公司就一个智能分析，分析师对外也敢叫大数据平台，实际上是一本正经的胡说八道。

 

数据中台：从理论上来说，大数据平台已经非常完美了，数据都已经经过清洗并且到上层应用了。但是在实际过程中，由于人或者说组织的原因，大数据平台建完之后，仍面临几个点：

1）底层数据这里并没有打通，数据是孤立的，比如你的公司有A产品和B产品，理想情况肯定是oneid，然后能看到A和B的产品行为，但这件事太难了。同时有些业务的数据非常复杂，考虑到大数据平台的成本问题，最后这部分数据即使很重要但也没有清洗

2）上层数据应用这里，理想情况下大数据平台肯定是面向BI、智能分析、用户画像、推荐引擎、风险服务。但同样是由于人/组织/成本的原因，最后基本上都是面向BI，更多还是停留在取数/读数的阶段，大家想一想是不是这样。

 

基于这两点，有些人就提出了数据中台这个概念，并且一股强吹。我对数据中台的理解，技术上来说要实现：

数据采集：PC端、CRM、ERP、APP、小程序、公众号、三方数据、爬虫数据，全部OK

数据处理：统一口径并形成Oneid，这一步太难了

数据分析：问题不大

数据应用：基于数据中间层可以快速开发应用服务，如你是一个金融公司，可以快速支撑理财、保险、贷款、支付、存款、白条所有产品线

同时在运营过程中，人/组织都要有这种统一共享服务的意识。感觉很难呀。

大家要记住：最终还是要应用，概念不重要。不管白猫黑猫，抓住老鼠就是好猫

对于咱数据分析师来说更加是要解决问题，这些概念咱们就一边看着

 

3、 如何成为一名有分析思维的数据分析师，需要经历那些阶段？

我对分析思维四个字的理解：面对确定/不确定的问题，有自己的独立思考、主动探索和给出答案/建议/决策的能力。凡是符合这三点都可以称为良好的分析思维，无论是工作还是生活

举个工作例子：某一天你的产品收入突然下降5%，这个时候你是怎么去看这件事的

举个生活例子：最近你在考虑给小孩买保险，刚好有好几个人都给你你推荐不同公司保险产品，你是怎么做的

 

以我个人的经历为例，我觉得需要经历过三个阶段

1、通过日常事务打好基本功

大家才进入职场的时候，不管是大公司还是小公司，要通过日常的所有事物把自己良好的工作习惯给建立起来

举个例子：以前数据团队写周报的时候是这样一个流程，一个人先写，一个人初审，一个人终审，最后发出去，组内轮流机制。有一次，我这边花了1个小时写周报，一个高材生直接2分钟就初审完（一般来说初审要10分钟以上），因为大家都坐在一起嘛，就感觉这也太速度了，果然，终审的时候发现了数据问题。其实，这都是很不好的习惯

 

再举个例子：还是以前的数据团队，我才进去的时候，每次别人让我做一件事，我是直接就做了也不问背景，或者问了背景之后听的也不是太懂，导致我对业务是一知半解，果然，在后来晋升面试的时候，所有的专业问题都没难倒我，最后一个业务问题我竟然直接蒙了。

 

作为数据分析师，在下面一些点很容易形成坏习惯

1）平时的提数：代码比较乱，别人看起来好累，自己下次再用也找不到地方。代码简介规范，命名有可解读性

2）周日报：很少看常规数据，即使看也是快速扫过。数据口径都要清楚，周末群里被问到可以很好预判和解释

3）数据异常：每次都是花大量时间去排查，基本套路都没有

4）需求沟通：没有需求沟通，即使沟通逻辑性也不强，和别人很难愉快的聊天

5）个人KPI：不知道自己KPI是什么，做事目标性不强，时间一直被各种聊天/需求打断，没重点性

6）产品体验：没有进行过产品体验，不知道如何去描述自己的产品。要能够每天去体验产品，特别是新版发布后一定要去体验并观察数据并同步

7）专题报告：模版都是参考前人的，或者在网上随便找的，没有自己的一套分析流程，对比标准化流程：

8）乐观自信：遇到一些困难就容易退缩或者找借口。数据分析是一件需要多方协调沟通的事情（撕逼的事情经常有），控制你的情绪，给团队正能量，也给一个更好的自己。

 

只有做过才会对这一套标准化流程理解的深刻，才知道不能走野路子,要不然怎么说怎么知道，但遇到实战就是有问题

 

在职场的前三年一定要把这些基本功打扎实，只有这样你走的才是正道，今后无论是什么公司变动或者跳槽，都会非常欢迎你。一旦这些好的习惯养成了，你会发现自己变的越来越客观，越来越冷静、越来越讨人喜欢。工作是最好的修行

 

2、通过大项目和高手开拓视野

基本功打扎实后，最好是去大中型公司，接触大的项目来支撑或者与高手直接碰撞

1）大的项目：比如A产品新增留存率提升专项、产品直播功能专项、内容覆盖度专项、客户满意度专项等等

可以看出这些专项，都是针对某一场景或产品下的明确目标提升，一般项目组10个人左右，数据分析师在里面肯定是负责全盘的数据指标、数据预警、专题报告。没有人跟你说怎么做，也没有人跟你说明确要做什么，KPI这些你也要背，一切都靠你自己，这种情况下最能激发出一个人的潜力。

最近看到群里一个很有意思的截图：

确实，很多时候分析师是没有明确KPI的，但是你要给自己定KPI，和自身业务强绑定的KPI，可能在第一阶段你都是这种定性KPI，或者说更多时候是一些虚的KPI，而第二阶段是这种定量KPI，实际上就是从数据分析转到数据运营角色的转变

这也就是为何大厂的高级分析师都要求有独立的项目跟进能力，代表你已经成熟了，有自己的思考了，被蹂躏过了，踩过坑上过当了，开始反省了。这才是一个他们想要的分析师

 

2）与高手碰撞：有了这种大的项目还不够，因为呢，如果一个项目当中大家能力都差不多，这个时候更多的还是培养自己的独立做事能力，但是不管你怎么去想，视野终会有限。这也是为何很多人工作很多年，水平一直一般般，很想提升，但是就是不知道怎么去提升，始终存在你看不见的一只手，就是这样。

想起来在高中的时候，我们大家遇到不会的题，还可以向老师或者说成绩好的同学问；到大学的时候，大家成绩可能都一般般，基本上都是问老师；到社会上工作的时候，没有正式的老师，该怎么办。提供两个方法

a）如果你是在大公司，那就比较好办了，大家要记住，名校或者说大公司，最大的差异就是这种外部资源了，一定要好好利用，大公司不是说钱一定多多少，但是对你的眼界开拓是非常有用的。

我记得我才毕业的时候，去一家小公司面试，本来是准备学习一些面经的，后来一个开发总监来了，问题都没问，就说了周围这些公司就我的开发能力最强。然后问了我很多问题，也没怎么答的上来。我研究生读的是神经网络算法这块，简历上也都是这些内容，结果他问的都是开发框架这些，请我我怎么办。这就是不按照套路出牌。

基本上每个月我都会在某个周五下午去看一下一些外部的课程，特别是年底忙完后会去好好恶补一下。看别人是怎么去思考问题的，也趁这个时间放松下。潜移默化就会有效果

 

17年的时候，由于集团正在收购一家公司，业务刚好和我的业务有关，就被安排去做收购公司的业务数据分析，当时感觉没什么。后来去投资公司的时候，遇到一位集团的资深投资总监，他问我准备怎么做数据验真的，我说*****，他听完后给出了肯定，并从财务数据的角度给出了他自己的建议，当时就觉得这个人不一般，气场很强，本以为不好接近。但在随后的3天时间里，大家交流的非常舒服，他从他的角度给出是怎么去看这家公司的，并且他也是非常认可我的工作态度（当时去了好几个人，最后可能我一直在用心做事吧）。怎么说呢，那次是对我个人眼界的巨大冲击。以前的时候更多还是周围这些数据分析专家啊之类的，大家想法都差不多，我知道你什么段位，你知道我什么层次。

回来后打听到，是从普林斯顿毕业的，开始在高盛，后来回国。确实不一样！！！

其实真的是这样，如果本来已经很优秀的人，再努力起来，那真的是谁都赶不上的

 

b）如果你不是在大公司，那就找周围的一些在大公司的朋友、同学去聊天，找那些职场能力比较优秀的。这种是最好的，记住，我们是在职场，因此要和真正职场的人打交道。可能有些人喜欢去听TED演讲、得到这些，不是说没用，而是离你有点远。东西是好东西，但不适合，你会发现你一直在学，但怎么就是没进步呢。

当然如果你真的找不到一些比较优秀的，那就先尝试去学职场课，不是说卖广告，是因为这门课始与职场，终与职场，对你的眼界会有好处。这也是这门课的定位。

回想起来我从事业单位能够到互联网公司，很重要的一步就是和一个做SAS/JMP的同学聊天开始的，在事业单位真是 两眼一抹黑啊

记住，思维的东西没有一触而就的，1年？2年？3年？5年？10年？（抱歉我周围有不少工作10年的但思维真的一般般的）看你的用心程度了

 

3、通过空闲时间沉淀方法论

经过了第一阶段的基本功学习和第二阶段的眼界冲击，第三个阶段就是沉淀了，毕竟再怎么好不是自己的没用。通过空闲时间去沉淀，非常不建议大家在正常工作时间内做兼职，也非常不建议大家每天都是工作上的事。一旦回到家了，就不要去想了，让自己安静下来，然后把自己工作的一些过往经历想一想，写一写，通过生活来阅读工作，这就是沉淀。

在沉淀这里，最好的点就是闭环，就是你得获得反馈，要不然你不知道沉淀的对不对，有没有价值，包括职场这门课也一样。所以你得把你很多的想法去在职场上再输出：和同事讲，和领导讲，和行业内人交流，都可以，有些事情可能你觉得没什么，但是正是一些人想要的

举个例子：我在一家公司的时候，领导让大家定期都去分享，但是很多人都发现不知道讲什么，一问就说都是日常做的那些事，没什么好说的。

有一次我只是把我的近期excel提升的一些技巧分享给大家，结果好几个人事后都请教我，当时领导听完也是觉得很好，然后问大家要不要请行业内的办公软件专家来培训。

看，都是日常的一些事儿，只要你稍微多想一点，对别人来说就是价值。越不想，越没有东西可以去沉淀，想着想着就会发现其实有好多角度去看一件事

 

有些同学问职场课有没有ppt,暂时还没有哈，这里我是这样去想的，大家在学的过程中，遇到好的内容就截图，然后保存到手机图片里。然后在空闲的时间里（比如地铁上/公交车上/电梯排队的时候）再去想这些内容，遇到困惑的去查这些图片，是不是很快。而且正是因为内容的稀缺性，你会珍惜。大家想一想，有多少次公司分享，你拿到了ppt，但最后就存在电脑里了，最好还找不到。

4、您认为偏技术类的数据分析师与偏业务的数据分析师，能力的侧重点有什么不同？那个未来的潜力更大，为什么？

 

能力上差异性应该很好理解，其实准确的说应该分三类：算法工程师、平台工程师、业务工程师。

算法建模师：你得看论文，会数学推算、会编码，重点是解决场景推荐问题

平台工程师：你得看架构、会运维/模型、会编码，重点是解决平台工具问题

业务分析师：你得看业务、会聊天/分析、会编码，重点是解决产品决策/增长问题

我个人的话做过平台工程师和业务分析师，算法工程师做不了（尝试过，虽然我是学数学的）

在未来潜力上，哈哈哈，跟大家分享一个思维：交换思维

我们经常在做一件事的时候，会比来比去，看利弊，这个叫做权衡思维

近几年的生活阅历我发现：这个权衡思维太有问题了，一点都不好，以近期的肯德基半价活动为例，吸引了我老婆去参加，结果就是我去排队，最后销量高的商品都很快抢光。无论是心情还是时间都受到影响。

我们在权衡利弊的时候，往往都认为已经考虑了所有的利和弊，但这本身就是一个伪命题：外界的影响因素太多，会给我们带来各种新的利和弊，你很难在开始的时候考虑清楚

 

而对比下来，比较好的一种思维方式是交换思维

还是以肯德基这件事，你节省了金钱，但一定会增加其他的物质形态，时间/公平/效率/信用/善良等等。我现在出去吃饭，如果遇到排队我一点都不急，因为我知道：如果我不需要排队，也就是节省了时间，那一定会出现其他的物质形态提升，比如价格比较贵/口味不太好/吃饭点不太对（对身体不好）/服务态度差/周围没什么人气/地方很远

同样，你当前的一份工作如果钱多活少离家近，那肯定也会增加其他的物质形态，比如花了好几年时间/好多关系才找到这样一份好的差事。

我发现，一旦用交换思维去考虑事情时，很多时候人会变的很舒服，心都用在做事上了

到该问题中，哪个岗位未来的潜力更大？

同样，如果用权衡思维去考虑，你怎么比较怎么不舒服，薪酬，加班，稀缺性，总是有些点你考虑的不全

而一旦用交换思维后，你会发现，其实真实的答案是你要找到适合自己的是哪一种，我从BI工程师跳到分析师，还真不是觉得分析师潜力大，仅仅是一个很无意中的机会，但最后做的时候就发现还不错，也挺喜欢，那就继续干着呗，想那么多干啥：如果我还去做自身有优势的BI工程师，可能底层开发会搞的更深，但一定意味着我对业务理解没那么深刻。资源/时间/精力都是有限的。

 

再举个例子，有些人认为：跟对人，选对事往往比个人努力重要，这话咋一看没什么问题（现在网上各种风口），但其实也是一个伪命题：如果大家在开始的时候都知道什么是对的人、对的事，傻子都会选。往往我们都是处在一个高度变化莫测的环境中，你能够做的就是脚踏实地，仰望星空

 

因此大家在选择的时候，不要去看哪个未来潜力大，最大的潜力是你这个人，而不是某个岗位。骑马找马是一种不错的选择。不要担心AI,还是那个思维：AI出现必然会替换一些技能，但是又需要增加另外一些技能，好好生活就行了，咱就静静地在边上看着先。

 

5、 您面试的时候最喜欢问应聘者那些问题，分别会考核那些主要的技能？

 

我最喜欢问一些开放性的问题，当然必须要和工作岗位有关。有些面试题是扯淡啊，我就遇到过一次，问我大概啥时候能够拿到驾照，我是来应聘数据分析的又不是司机，你问这个干啥

一般来说，会考统计概率、sql、python/sas/r工具、项目经验。最看重项目经验，因为说真的，工具这些东西很快就能够学会，但是项目经验能够看出你适不适合做数据分析。这些内容在职场课立面都有具体案例，这里我再来个有挑战性的，以短视频为例（昨晚bilibili同学问我视频这块）

 

第一个问题：对于短视频APP，怎么去评价一个视频的好与坏

实际上是看面试者有没有这种指标体系的概念，不是从某几个指标去评价，而是一套综合性的指标

 

第二个问题：在这么多指标当中，如果只让你选取一个指标，你选择哪个，能不能举个例子你为何这样选取

实际上是看面试者有没有这种KPI指标的概念，比如视频播放率、视频CTR，实际上都重要，但是在具体的项目中，肯定有重点，看面试者有没有真的做过这块

 

假设面试者选取的是视频播放率，这个时候我会问另外一个指标

第三个问题：你觉得如果以视频CTR作为主指标的话，会存在什么问题，然后可以怎么去优化

实际上看的是面试者平时除了工作外，有没有一些自己的横向思考，不问他熟悉的，问他一些不太熟悉但是又跟工作相关的，这就是面对不确定问题时的解决能力，大家可以想一想，面试的时候多少是有点紧张的，这更加能看出一个人在真实情况下解决问题的能力（不确定性会让人焦虑）

 

第四个问题：假设视频app的DAU近期一直在往下探，用户的视频播放时长也在往下走，现在每天都在试着用短信召回用户来看我们的独播剧集，然而短信越发越多，该剧集的播放量又越来越少，如果是你，你会怎么去解决

又是一个不确定性问题，而且信息还比较多，考察的是面试者推送通道、推送内容、推送时段、推送用户画像、推送媒体来源等综合思考

 

第五个问题：你日常最喜欢的一个视频APP是什么，为何，你觉得目前他的产品有哪些点可以优化

考察面试者的竞品意识，如果你只是一些想当然的回答，比如我觉得他哪里做的不好，pass的可能性会非常大。竞品分析包括市场规模、业务生态、经营数据、产品体验等，在回答的时候要体现你的全面思考能力，而不是单纯的喜欢就是喜欢，你需要用数据说话，比如我是一个重度用户，每天用两个小时，我用的很高频的一个功能是A，但是呢，A功能我发现每次用完之后，都会留下一个空白页，没有办法直接返回，而且我在一个粉丝群里面也发现很多人都在吐槽这个点，我觉得可以****优化

这里：两个小时、粉丝群、高频、每次、一个空白页都是数据辅助，也就是说，你有这种数据的客观意识

 

这里跟大家说下，面试的结果往往是由很多因素决定的，群里面一位同学说最近去头条面试，然后到三面（象征性面，一般都没什么问题）被刷了，然后觉得可能是自己能力的问题。

其实还真不一定哈，很多时候不是面试者的问题，是公司内部架构调整的问题，本来说要人，但是没太想清楚，结果就被当炮灰了。有些公司的面试官是非常不负责的，表现在以下几点：

1、面试要求非常高，结果导致一直选不到人

就以数据分析面试为例，实际上工具差不多就行了嘛，结果你又要求别人会JAVA，这个你到底想干啥呢，哪有那么厉害的人，厉害的人早就有工作了。其实真没必要，我个人的话只要看到合适的就会要，你敢说面试官自己达到这些要求了嘛，未必

2、面试完不给结论

这个应该是我最讨厌的一种了，我每年年底都会去市场上看下机会，一是看市场需求，二是看自身当前能力。不管我表现怎么样，正常的公司是肯定会给个结果的，结果呢，遇到好多HR就直接没消息了，也不知道怎么想的，做人不要这样好不好

3、面试整个过程很好但就是没过

这种情况真不少见，甚至我当面听到过一些面试官，说这个人我就是让他过来当炮灰的，肯定不给他过，我想说你耽误人家时间干啥；还有一些时候就是头条那位同学那样，好好的突然不招了

所以在面试这件事上，咱能做的就是好好准备，有些公司你认为好的可能内部乱成一锅粥了，所以塞翁失马焉知非福，做好自己该做的事就行。

最后，20年大家都挺难的，挺一挺，越是难的时候越要去珍惜自己的时间，好好利用，等待晴天。

数据分析的基本方法论

一份完整的数据分析师成长书单

数据分析师的未来

超级菜鸟如何入门数据分析？

数据分析的套路：经典的6大类分析方法

如何才能成为顶级的数据分析师？

数据分析的道与术

 数据分析人的职场天花板

一次客户细分的实践

经验，套路还是逻辑？从我的一次数据分析经历中能得到什么？

为什么我提交的数据分析报告总是被领导K？

大数据也是个江湖：关于腾讯大数据“购买iPhone人群普遍无房无车学历低”的一地鸡毛

浙江移动发布手机终端大数据分析报告

为什么客户画像这么难？

为什么有些人用3年的时间获得了 你12年的数据分析经验

数据分析师的自我修养

经营分析师如何进一步提升自己的境界