Tiger：我眼中的大数据(2)-转行和实战经验

以童心观数据

5. 大数据的业务领域

从业务层面来看，大数据包含如下四个领域。

首先是数据采集和数据处理。做数据分析首先得有数据，这涉及到一个采集的过程，如果你是一家互联网公司或者你有一些专门采集数据的渠道，获得数据比较方便。如果没有的话，可能你需要写程序，写爬虫（马上新生大学要开爬虫这门课），去获得大量的数据并同时做处理。处理本身这件事是非诚繁琐和占工作量的。我们这些数据分析师或数据科学家，90%的工作量都是在做数据处理和清洗，因为这个环节的好坏直接直接决定了你后面的数据分析/挖掘/解读的质量。

第二点就是数据分析。在这个层面上，个人认为对业务的理解是数据分析的前提，也是重点。对业务不熟谈不上数据分析，且分析的结果也可能不可靠。有了对业务的深入理解后，我们就可以用各种统计/分析方法对数据进行分析和解读。

如果一般的数据分析得不到结果，我们可能会考虑数据挖掘。泛泛而言，数据挖掘大致可包括机器学习/人工智能/深度学习等方向的各种算法和模型，著名的Alphago就是深度学习的一个实例。

第四个领域就是数据呈现，也可理解成数据可视化。数据分析和挖掘结束后需要把数据和相关结论呈现出来，这本身就是一门手艺活。它跟前面几个步骤都是相关的，却又是比较独立的。因为在这里，你需要给阅读你的数据和结论的人精准而友好地传达大数据的特征和背后的洞察，所以还得从视觉设计甚至心理学上去做文章，才能把数据可视化做的比较好，方便他人直观地理解。

6. 大数据的必备知识集合

大数据分析确实有些必备的知识集合，这里有幅来自IBM研究院的图，阐明了数据科学的必备知识领域。

大数据必备知识集合

7. 我的大数据入门经历
再和大家分享一下我自己大数据入门的经历。说到数据分析，在进入互联网行业之前，我之前许多年都在用数据分析来做计算纳米光学和电磁学方面的学术研究，等于是用它来研究自然现象和物理规律。而转行后就得用数据分析来研究互联网的规律、商业和人性。转行之前我的优势和劣势总结如下。

我的优势在于：首先，有比较好的理论基础。像概率论和统计、矩阵论、高等数学这样领域还比较扎实的。此外我在美国的时候还学过于数据相关的一些课程，模式识别等。做过很多的项目。其次，我有很多年的数据分析和处理的经验。Matlab我用了6年，它是做数据可视化数据分析和数值计算的脚本语言，同时，也是一个交互环境。所以我对数据处理及可视化这个流程已经比较熟悉了。第三点，是个人对数据的敏感度。这其实就是熟能生巧，因为一直在和数据打交道，做分析和计算，这样长期训练的结果就是对大量的数据产生一种直觉。所以，从数据里面挖掘背后的原因和提炼规律也是我相对较擅长的。

我的劣势也很明显，当时我缺少互联网行业的业务积累和足够的工程经验。缺啥补啥，所以为了转行就做了很多补救工作。

我的补救的好处在于是直接在互联网行业做的，通过游泳学习游泳，实践性很强。我当时选择了一家出行领域的互联网创业公司从事商业数据分析。这份工作给了我很多收获，首先我学会了用数据库，像Sql，Hive-Sql这些。同时将Excel用会了（之前做学术根本用不上它们，Matlab啥都能干）。同时我也进一步加强了脚本编程技能，如Linux的Bash shell。其他就是在于商业中的数据可视化和学术中的数据可视化还是不一样的，除了Excel、Python还会接触到一些第三方可视化控件，如Highcharts/Echarts。
除了这些具体的技能外，同时也积累了海量数据的处理经验，并熟悉了互联网行业数据分析驱动商业的方法论。这些都是我的收获，总之，我缺的一些东西都在这个过程中慢慢的补齐。

8. 数据驱动商业的实例

做完这些补救工作后，就可以用数据分析直接的在工作里面驱动商业决策了。曾有一度，我们公司面临同行业一家巨头的正面竞争。在竞争白热化的阶段，管理层给我们组指派一个数据分析任务，让我们去解答是否降价的命题。当时的竞争背景是，该巨头的业务在很多城市降价，这导致了我们用户一定程度的流失，一些老客户跑过去，同时有些新客户就会直接用该巨头的业务。

那要不要降价呢？这个问题，我们是这样处理它的。首先是取数，我们把一些城市的订单数据通过脚本程序从集群中拿出。然后我们开始分析，在分析的过程中，我们会把我们服务提供方和客户组成的这些订单分类去看，服务提供方在我们的系统里是分等级的，对于高等级提供方是我们的核心资源，需要保证他的收入，所以这些人的收入是不能降的。客户我们也会分等级，价格敏感型的客户就相对容易流失，谁便宜就用谁。但有一些是对价格不敏感的，他们对服务敏感，在乎服务的体验、品质这些细节。对于他们，你降不降价其实没影响。
通过这些分城市、分等级的多维度数据分析之后，综合考虑下我们给出了决策的建议：采取差异化价格策略，同时主打服务品质，而不是直接跟对手的价格战。通过这个过程就可以清楚看到数据分析是如何应用到商业应用了，我们不是直接拍脑门去回答降或者不降，而是用数据说话，分析我们的订单数据，分析我们的用户和服务提供方，看看他们具有哪些特征，之后再深思熟虑地推出一个商业策略去和对手竞争，从而维持我们的市场份额。

我的分享就到这里，谢谢大家。