数据分析一大堆,结果却是大家早就知道的结论?是工具和方法出问题了吗?真正原因可能是你的思维有误区。
为什么分析的这么辛苦,得出的结论大家早知道,谁谁都不满意?核心原因有3个:
维基百科给出的解释:
商业分析,是识别业务需求和确定业务问题解决方案的研究学科。通常包括战略规划、流程改进、组织变更、以及通过数据分析等手段来研究并解决问题。
《CPBA商业分析职业技能标准》给出定义:
商业分析是指通过清晰定义和拆解问题,研究使用各类信息和数据,采用定性分析、定量模型判断等方法,深入了解客户,洞察业务趋势,并为业务战略优势做出正确决策。
如何定义商业分析?简单地说,商业分析就是将分析技术应用于业务数据,从业务数据中获取商业洞察。商业分析聚焦数据对业务的影响,以及根据这些影响企业应采取的决策和行动。
分析前先摸底,做足准备工作,首先和相关人员沟通业务背景、现状、当前的问题;接着形成思考、分析框架,把框架画出来,框架可以逐步调整。
业务发展,要么来自增量,要么来自模式重构。
在商业分析中,增量来自于分析师掌握了其他人没有的信息。而模式重构则来自于分析师对业务大图的梳理,对问题本身的梳理,也就是分析框架,别人没有像我们一样这么完整、穷尽的去分析过这个问题。
增量就是要掌握别人不知道的信息(数据),解决方案是紧紧围绕分析目的展开,去找到为了分析透这个问题,需要的数据。
商业分析紧紧围绕商业诉求展开,需要用什么数据也围绕商业价值展开,不是围绕数据库有什么数据展开。这是很多分析师无法成为商业分析师的重要原因。
或许有朋友说,巧妇难为无米之炊,如果数据库都没数据,我能怎么办?数据库没数据,但客户有数据、店长有数据、市场有数据,这些数据只是不在数据仓库,不是用数字体现出来的,是以信息的方式存在,需要自己去搜集。
在商业分析中,模式重构来自于分析师对业务大图的梳理,对问题本身的梳理,也就是分析框架。
例如层次分析模型。
再比如麦肯锡7S模型(Mckinsey 7S Model),简称7s模型,是麦肯锡顾问公司研究中心设计的企业组织七要素,包括结构(structure)、制度(system)、风格(style)、员工(staff)、技能(skill)、战略(strategy)、共同的价值观(shared values)。
我们很难去定义什么是商业分析,因为这是一个很宽泛的概念,涵盖许多不同的功能和工具。常见的商业数据分析包括哪些内容,大致有以下几个方面:
在企业里,数据分析是为每一个员工服务的,并且数据分析能渗入到组织里面的每个细胞。而商业分析是为企业发展规划部门、高级管理层服务的,提高管理者决策的准确性、决策效率和决策能力。
商业分析:是识别业务需求和确定业务问题解决方案的研究学科。通常包括战略规划、流程改进、组织变更、以及通过数据分析等手段来研究并解决问题。
数据分析:用适当的統计分析方法,对收集来的大量数据进行分析,将它们加以汇总和理解并消化,以求最大化地开发数据的功能,发挥数据的作用。
著名的咨询公司Gartner于2013年总结、归纳、提炼出一套数据分析的框架
4 Types of Business Analytics Capabilities,如上图所示,Gartner把数据分析分为四个层次,分别是:
(1)描述性分析-发生了什么?
故名思义,该层次主要是对已经发生的事实用数据做出准确的描述。比如某企业本月订单签约额比上月增加100万,至1100万,但是订单履约率从上月的98%下降到了95%,库存周转率从上月的0.8下降到了0.7。
(2)诊断性分析-为什么会发生?
知道到底发生了什么,对我们的帮助不大,更重要的是,我们要明白为什么发生。比如经过分析,发现上文提到的订单履约率下降的原因是成品生产不出来,无法完成交付。而成品生成不出来的原因则是部分原材料的供应商未能按时送货,导致原材料不齐套,无法开始生产。
(3)预测性分析-什么可能会发生?
基于上述两个层次的分析,我们发现了其中的规律,即原材料供应商的送货及时率会影响成品订单的履约率。假如上月某原材料供应商A送货及时率只有70%,通过建模,我们可以预测本月该供应商会使我们的订单履约率下降2%。
(4)处方性分析-该做些什么?
有了预测性分析的结果后,我们无需再做事后诸葛亮,而可以运筹帷幄,在事前就采取措施。上例中,供应商A会导致本月我们的订单履约率下降,我们可能采取的措施就是把A换掉,但是现在有B和C两个供应商供我们选择,该选择哪个呢?通过分析和计算得出:选用供应商B会比选C的订单履约率高1%,因此建议选择供应商B。这就是处方性分析。
4.1.1 了解业务场景
如果想通过数据发现和回答『发生了什么』的问题,第一步并不是急急忙忙的直接去分析数据,而是首先要了解和还原数据产生的业务场景,包括:数据涉及到的部门和岗位有哪些,这些部门和岗位之间的业务流程是怎么样的,在不同业务流程中有哪些输入,对数据做了什么处理,又是如何输出和传递给下游部门的。如果不了解业务场景就去做数据分析,就如同盲人摸象,因此这一步至关重要。
4.1.2 探索性分析
探索性分析又细分为以下三个步骤:
(1)提问,理顺初步分析思路和目标
在了解清楚数据产生的业务场景后,可试着问自己一些what happened的问题。比如,本月销售额是多少?环比和同比变化分别是多少?本财年销售的变化趋势是怎么样的?通过相应问题,可以理顺初步的分析思路和分析目标。另外,在上一步了解业务背景的时候,也要注意和相关业务的关键干系人沟通,获取他们想知道的what happened的问题有哪些。
需要注意的是,这里说的是初步的分析思路和目标,因为在随后做分析的时候,新的灵感可能会被不断激发,分析的思路和目标也在不断调整,这是一个循环往复的过程。
(2)收集数据
有了初步的分析思路和目标以后,就可以确定需要收集哪些数据了。比如上文提到的销售额分析可能用到的数据为销售订单数据、销售开票数据。
(3)选择相应分析方法
根据分析的思路和目标,就可以对收集到的数据选择相应的分析方法了。具体的方法包括:
对数据位置的探索,包括:最大值、最小值、均值、中位数、分位数等
对数据分布的探索,包括:偏差、方差、标准差、茎叶图、直方图、箱形图(也叫盒须图)、密度图等
对数据趋势的探索,包括:同比、环比、趋势图、条形图等
对数据聚合的探索,包括:排序、筛选、计数、重复项、分组、求和、比例、条形图、饼图等
4.1.3 提炼指标
对数据做探索性分析后,可对数据反映的事实有一个直观的感受,比如,通过分析一个仓库的月度收发存数据,可以大概知道这个仓库的货物周转情况。但是要想更准确、简洁地描述发生了什么,还应该提出更高的要求:即总结和提炼出相应指标。比如描述库存周转的整体情况,库存周转率、库存周转天数等指标更有效。这些指标可以做为企业日常经营管理的KPI,让相关人员快速、准确地了解到企业当前的经营情况。
在诊断性分析中,首先需要知道和结果可能相关的因素(在数据分析里,这些因素被称为特征)有哪些,这个过程一方面依赖于我们对业务的了解程度,另外也要多和业务人员进行头脑风暴,只要是可能相关的,都纳入考虑,也可以基于现有特征构造新特征,至于是否相关可在后面的分析中进行验证。
比如和汽车油耗可能相关的特征包括:车重、排量、轴距、变速箱类型(手动、自动)、驱动方式(两驱、四驱)等。
列出和结果可能相关的特征后,下一步就是要验证这些特征和结果到底是否相关。具体方法包括:
4.2.2.1 定性分析
(1)二维散点图
若分析的仅是一个特征与结果的相关性,则可以通过画二者的二维散点图进行分析,通过图形描述,可以初步且直观判断二者的存在何种相关关系:正相关、负相关、无关;如果相关的话,是线性相关还是非线性相关(抛物线、指数等)。下图为不同性别年龄与身高关系的散点图,可以看出在青少年时期,这二者是呈线性正相关的。
(2)矩阵散点图
在现实中,仅有一个特征与结果相关的情况是少之又少的,大部分情况都是存在多个与结果相关的特征,此时需要矩阵散点图进行分析。
4.2.2.2 定量分析
上述的散点图分析仅能通过图形看出特征与结果的大致关系,即定性分析;但是无法对它们的关系做精确性描述,即定量分析;定量分析主要分为如下两个步骤:
4.2.2.2.1 特征选择
当我们列出可能和结果有关的多个特征,并通过散点图获得大致的直观认知后,还需要更精确的判断到底哪个特征与结果的相关性更高,为了降低计算的复杂度,我们应该只把那些最相关或者最重要的特征放到模型中,主要的方法有两种:
特征选择不仅有助于简化计算,还可以帮助我们对特征与结果的关系有更好的理解。
4.2.2.2.2 模型建立
(1)回归(Regression)
若结果为连续值,则应用的模型为回归模型,包括:
那么如何获得上述的回归模型呢?常用的回归算法包括:最小二乘法、支持向量机(SVM)、GBRT、神经网络等。
(2)分类(Classification)
若结果为离散值,则应用的模型为分类模型。比如人的年收入、日平均运动时间、日平均睡眠时间与人的寿命的相关关系是回归模型;而人的年收入、日平均运动时间、日平均睡眠时间与人健康与否(健康或者不健康)的相关关系则是分类模型。
常用的分类算法包括:决策树、逻辑回归、随机森林、朴素贝叶斯等。
4.2.2.2.3 监督式学习(Supervised Learning)
上述回归模型和分类模型均是机器学习的监督式学习模型,它主要指通过学习历史的真实数据,找到其中的规律(即模型),并假设「历史总是惊人的相似」「太阳底下没有新鲜事」,通过找到的模型对未来进行预测。这一种学习方式相当于既包括了诊断性分析,也包括了预测性分析。但是,通过历史数据找到真正的规律是比较难的。在现实生活中大家应该都有这种感觉,回顾过去好像清清楚楚,但是展望未来时又是一片迷茫。这是因为实践和未来才是检验规律的唯一标准,但是在未来还没有发生的情况下,检验只能依靠历史的数据,这样非常容易出现机器学习中常说的过拟合和欠拟合的问题。如何评估机器学习模型的效果,避免过拟合和欠拟合的问题,找到那个真正的规律,业界提出了很多的方法,限于篇幅的原因,只能在其他文章中下回分解了。
诊断性分析的隐含意思就是,要找到事物的因果关系,即因果性分析。所谓因果性,假设X是因,Y是果,则只要X出现,必然会导致Y的发生,其是百分之百的概率。
虽然我们在上文中介绍了相关性分析,但是需要特别注意的是,相关性分析并不等同于因果性分析,相关性分析可达不到百分之百的概率。比如,虽然收入与个人的健康有很大的关系,因为收入高的人可以享受更好的物质和医疗,但是并不意味着有钱人就一定健康,现在有钱人英年早逝的新闻经常见诸报端,因此我们只能说收入与健康是呈相关性,而非因果性。关于看似相关但是其实一点关系也没有的例子大家可以参见这个网页:http://www.tylervigen.com/spurious-correlations
但是,在现实世界中,很多事务的因果性是很难被证实的,因为其追求的是百分之百的概率,一点差错、一个反例都不能出。「吸烟有害健康」这句话听了很多年,现在听起来貌似这两者之间存在因果性,但是其实它们也是相关性,只不过是强相关性。因为要证明所有吸烟的人健康都受到了影响,这件事是很难的。
所以,回过头来,做诊断性分析时,我们依然要从相关性分析出发,并结合相关领域的知识,通过逻辑推理,对分析的结果进行合理解释。因此,在使用机器学习的模型时,也要注意其可解释性。
另外,在大数据时代,我们看问题和分析问题时,也要转换自己的思路,从以往的寻找确定的因果性改为寻找强相关性。
描述性分析、诊断性分析和预测性分析,这三种分析方式有点像就医时的检查和诊断阶段,在此阶段确定病因之后,可以预估出病情可能的发展方向,而处方式分析,就是要根据前面的分析结果开具相应处方,到底是该吃药,还是该输液,甚至是做手术。商业领域中的处方式分析与此类似,只是其给出的是相应商业问题的解决方案和行动建议(这也是处方式分析区别于其他三种分析方式最主要的特征)。处方式分析回答的问题是:为了解决这个问题,我们该做些什么?或者说,为了达到某个目标,我们该朝哪个方向努力?
那么如何通过处方式分析给出相应问题的解决方案和行动建议呢?
上述两个步骤在前面的文章中已经做了详细介绍。
最后,根据不同的业务场景和需求,给出具体的解决方案和行动建议。具体方法又分为以下三种:
(1)预测性分析
有一些情况,仅仅使用诊断性分析和预测性分析的模型,即可以给出建议,比如银行可根据申请人的基本信息,包括学历、收入、是否有车、是否有住房、存款金额、是否有违约记录等,去建立模型预测其信用违约的风险有多大,进而给出建议是否要给这个申请人发放信用卡,如果要发放,信用卡的额度又该是多少。
(2)仿真(Simulation)
仿真就是通过建模模拟真实世界的系统或流程,并通过不同的输入参数或条件查看其对结果的影响,据此制订相应决策。仿真在各行各业已经有广泛的应用,比如军事上初级的沙盘推演、中级的电脑模拟对抗、高级的实战演习,都是仿真。再比如飞机设计时初级的软件CFD(计算流体力学)仿真、中级的风洞实验、高级的试飞,也是仿真。当然,越高级的仿真付出的成本就越高,所以在商业环境中,主要是通过在电脑上做数学建模仿真,进而根据仿真结果给出相应的解决方案和行动建议。比如企业的成本支出和客户服务水平是一个两难问题,往往成本的削减意味着客户服务水平的下降,那如果说企业要制订年度成本削减目标,通过仿真发现成本降低5%,但是客户服务水平仅下降1%,属于可接受范围,但是当成本降低10%时,客户服务水平下降达6%,可能对公司的经营、商誉等产生重大影响,则此时成本降低5%是相对合适的,而10%就不是那么合适了。
(3)最优化( Optimization)
最优化是应用数学的一个分支,主要指在一定限制条件下,选取某种研究方案使目标达到最优的一种方法。最优化问题在当今的军事、工程、管理、商业等领域有着极其广泛的应用。比如,企业都希望利润尽量高,那如何在现实的约束条件下,达到上述目标就是一个普遍的最优化问题。最优化常用的方法为线性规划、非线性规划、凸优化、整数规划、网络流优化(物流、电网、通讯网络应用)等。
医生开出相应处方后,都会告诉病人按期进行诊后复查,目的就是检验处方的效果,如果处方收效甚微,则需要尽快调整方向,确定新的处方。因此处方式分析除了会给出行动建议外,另一大特点就是需要有一个反馈系统可以收集采取相应行动后的结果数据,以验证行动建议的有效性,若效果不佳,则需要调整,给出新的可行性建议,这个过程会不断循环迭代,直至达到预期目标。一个优秀的处方式数据分析系统,迭代过程应该是无须人工干预、智能自动完成的,这也是目前机器学习和人工智能方法的最大优势。
常见的商业分析方法有PEST分析、波特五力模型、SWOT分析、PDCA循环、5W2H分析、金字塔原理、MECE分析、波士顿矩阵、发展驱动力分析、ABC分析、RFM模型、AARRR漏斗模型等。
我体会要做好商业数据分析,从换位思考开始,培养商业分析能力,首先要培养思考问题的思维能力,然后再结合商业经验和业务理解,借助一些数据分析的手段,来解决商业问题。思维模型会给你提供一种视角或思维框架,从而帮助你建立起观察事物和看待世界的视角。
- 结构化思维
结构化思维其实就是把复杂问题分解成多种单一因素的过程,并且将这些因素加以归纳和整理,使之条理化、纲领化。这个过程犹如抽丝剥茧,将一团乱麻理地条条顺顺。结构化的思维方式,那就是金字塔模型。
根据《金字塔原理》,“任何事情都可以归纳出中心论点,由中心论点出发,可由三至七个论据支撑,每个一级论点可以衍生出其他的分论点。”如此发散开来,就可以形成以下的金字塔结构思考方式。
用这种方式思考,能确保思考的点成体系,逻辑严谨,要素相互之间不凌乱不打架,思考的点都穷尽。具体可以阅读书籍:《金字塔思维》。
- 假说演绎思维
以情况为起点的推理方法是归纳推理,以规则为起点的推理方法可以称之为演绎推理。
今年数据、分析和人工智能技术成熟度曲线研究描述了24项大数据及人工智能技术,一个突出特点是,约一大半的技术排列在启蒙坡上或附近。此外,这些进入者中的大多数将在5到10年内完全成熟。Gartner预计中国将有具有巨大潜力进行快速创新,其中中国的关键技术包括数据中台、国产人工智能芯片、自给自足数据库管理系统和数据资产管理。具体可以看到:
数据编织作为一种新兴的数据管理框架,正是萌芽阶段,还需要10年时间被市场主流采用;
数据资产管理也在萌芽阶段,但它是所有技术中唯一一个有望在两年内被市场主流采用;
数据共享、湖仓一体技术快速发展当中,正在攀登斜坡;
增强数据分析根据成熟度曲线,目前已经过了萌芽期,即将处于热门关注期;
在或接近膨胀期望的峰值时,是当今人工智能中一些最被炒作的技术,尽管不太成熟,包括生成式AI、国产人工智能芯片、数据素养正处于顶峰 ,技术的成熟后必定会走向市场化的应用,在2到5年内将被市场主流采用,
数据治理正从顶峰滑坡,即将经历幻灭的低谷;
需要特别注意的是,数据中台被标注为“抵达成熟期前过时”,也就是说gartner认为由于其会在市场上失败或被其他竞争解决方案取代,数据中台永远不会达到成熟期;
实时数据管理、自助式分析、数据分类技术处于爬升期,说明相关技术产品在设计和使用场景上趋于成熟,最佳实践开始涌现。在该阶段,企业受益于技术的具体示例日益显现并被广泛知晓。
Gartner 此次发布的《2023 年中国数据分析与人工智能技术成熟度曲线报告 (Hype Cycle for Data, Analytics and AI in China,2023)》中,「增强数据分析 augmented data and analytics」和「自助分析 self-service analytics」被视为数据分析和 BI 领域技术创新的关键趋势其中之二。
增强分析: 融合 GPT 技术的强智能模式开启
随着大语言模型 LLM 井喷式的发展,增强分析迎来了更多机遇与挑战。尤其在 GPT 强大能力的加持下,增强分析不仅能够增强专业分析师挖掘数据深层价值的能力,对业务用户和企业高管等数据消费者也将大有裨益。
自助分析: 构建规模化生长的强驱动能力体系
中国市场正在飞速发展时刻变化着,数据分析也从过去的集中式分析,走向混合、半中心化模式,业务部门与业务用户在数据分析和决策中的参与度正持续扩散渗透。趋势已然形成,自助分析成为建设和夯实企业数据文化的关键因素之一。
价值驱动: 融合务实思维与技术追求的长期主义
此外,越来越多的中国企业开始采用价值驱动而非完全以数据为驱动的方式来实施分析用例。业务分析场景化的落地应用,对业务增长提效的作用和价值成为企业关注重点。
智能洞察系统AutoInsight一共包含四个大的组成部分,分别为:数据源接入&ETL模块、元数据配置服务、InsightCore服务层以及文案展示服务层,整体架构为下图所示:
增强分析作为数据分析的高阶增强阶段,为分析工作带来更多自动化动能力和创新洞察力,以提高数据分析的效率和准确性。我们将持续推进增强分析技术在营销分析场景下的应用探索,加强阿里妈妈智能洞察系统AutoInsight在增强型数据分析领域应用的扩展能力,并结合智能化策略和机器学习算法能力,提升分析内容的开发、使用效率与实现个性化的共享方式。
8.1.1. 商业模式9要素:
8.1.2. 商业模式的三大竞争战略
企业运营是否良好?需要进行诊断!一套商业模式诊断模板让你直接套用,少走弯路!
商业分析指的是对方案进行经济效益分析,从财务上进一步判断它是否符合企业目标。如果符合,产品概念就可进入产品研制阶段了。 包括审视预计的销售额、成本和利润是否达到公司预计目标;如达到,则此产品概念才能进一步发展到产品开发阶段。可从商业或消费统计公告中查到特定商品的零售额、有效购买收入、总的零售额等资料。
商业分析的内容主要由以下部分组成:
参考:
[1]. 亿信华辰软件. 深入解读Gartner 2023中国数据、分析与AI技术成熟度曲线报告. CSDN博客. 2023.08
[2]. 阿里妈妈技术.【阿里妈妈营销科学系列】第八篇:增强分析在营销分析场景下的实现和应用. 知乎. 2022.08
[3]. 李子恒. 商业数据分析的四个层次. 博客园. 2019.05
[4]. 西湖渔歌. 商业分析3步走!解决问题是关键
[5]. 李启方. 商业分析能力是怎样炼成的?. 知乎. 2023.05
[6]. 肖永威. PEST、波特五力、波士顿矩阵、SWOT、价值链等战略分析方法整理学习笔记. CSDN博客. 2020.04