《大数据导论》采用大数据的商业动机与驱动
采用大数据的商业动机与驱动
在当今世界的许多组织中，业务可以像其所采用的技术那样进行“架构”。这种观念上的转变体现在当今企业架构领域的不断扩大，即过去只与技术架构紧密结合，而现在却也同样包含业务架构。尽管如今人们还只是从一个机械系统的视角来审视一批批的业务，即一条条指令由行政人员发布给主管，再传递给前线的员工们，但是，基于链接与评测的反馈循环机制为管理决策的有效性提供了保障。
这种从决策到实施再到对结果的测评的循环使得企业有机会不断优化其运营。然而事实上，这种机械化的管理观点正在被一种更加有机的管理观点所取代，这种新的管理观点能够将数据转化为知识与见解来驱动商业行为。但是这种新观点有一个问题在于，传统商业几乎仅仅是由其信息系统的内部数据所驱动的，但如今的公司想要在更像生态系统的市场中实现其业务模型，仅仅靠内部数据是不够的。因此，商业组织需要通过吸收外来数据来直接感知那些影响其收益能力的因素。这种对外来数据的使用导致了“大数据”数据集的诞生。
本章探索了采用大数据解决方案和技术背后的商业驱动与动机。大数据被广泛采用是以下几种力量共同作用的结果：市场动态；对业务架构（BA）的理解和形式表达；对公司提供价值的能力与其业务流程管理（BPM）紧密相连的认知；信息与通信技术（ICT）方面的创新；万物互联（IoE）的概念。以上每一点会分别单独介绍。
2.1 市场动态
近些年来，商业审视自身与市场的方式已经有了根本性的改变。在过去的15年里，发生了两场巨大的股市市价回落：一是2000年的互联网泡沫破裂，二是始于2008年的全球经济衰退。在以上两个例子里，商业公司都以减少开支的方式来努力提升自己的效率与效力，从而保证自己的盈利。这种做法的确是正常的，当顾客减少，削减成本也往往随之发生，以求维持公司运营的底线。在这种情况下，公司往往会实施转型项目来协助公司节省开支。
当全球经济开始从衰退中复苏，公司又纷纷雄心勃勃，希望通过推出新的产品与服务，以及增值业务来找到新的顾客，并防止老顾客投入竞争对手的怀抱。这是一个与当初旨在削减开支截然不同的市场周期，因为它并不是意在转型，而是意在创新。创新能为一个公司带来希望—找到新方法来实现市场里的竞争优势以及随之而来的收入增长。
全球经济因为众多因素而处于众多不确定的时期。人们普遍相信世界上主要发达国家的经济越来越相互依存紧密纠缠在一起，换句话来说，它们由众多经济系统组成了一个更大的系统。同样，全球的公司都在改变它们关于自我认知和独立性的看法，因为它们意识到自己同样也由各种复杂的产品和业务网紧紧地联结在一起。
出于这个原因，公司需要扩大其商业智能活动的规模，且不仅仅局限于对公司信息系统所提供的内部信息的反思。它们需要开放胸怀去迎接外部数据源，并由此来感知市场以及完成自我定位。对于一家公司来说，认识到引进外部数据能为其内部数据带来丰富的信息，可以使得它更轻易地从总结的层面，转变为深入洞察的层面，从而提升分析结果的含金量。一旦有了合适的、能支持复杂的模拟性能的工具，公司就能得出富于前瞻性的结果。假若这样，这种工具不仅搭起了知识与智慧间的桥梁，同样也提供了具有建议性的分析结果，而这便是大数据的力量—能极大丰富一个公司的视野，远超其仅仅依赖于内省而得到的视角。从当初仅能通过只言片语推断市场情绪相关的信息，到能真真切切感知到市场本身。
托马斯·达文波特及劳伦斯·普鲁萨克在他们的书籍《工作知识》中提出了广为接受的数据、信息及知识的有效定义。根据达文波特和普鲁萨克所说，“数据是事件的一系列离散的、客观的事实”。从商业方面来讲，这些事件是发生在一个组织的业务流程和信息系统中的—它们代表了与商业实体相联系的工作的产生、更改以及完成。比如说，订单、货运单、通知单以及客户地址的更新。这些事件，是现实世界中的活动在公司信息系统的关系型数据库中的反映。达文波特和普鲁萨克进一步将信息定义为“有意义的数据”。被置于语境中的数据能够起到交流的作用，它传递了信息并且提醒了接收者—不管是人类还是系统。信息经由知识生成的经验及洞察力而丰富。作者陈述到“知识是一种有组织的经验、价值观、相关信息及洞察力的动态组合，该组合的框架可以不断地评价和吸收新的经验和信息”。
这种从后知后觉到有先见之明的转变可以通过图2.1所示的DIKW金字塔来进行理解。注意图中，“智慧”作为三角形的顶端，但是它的存在并不是普遍认为的由ICT系统产生的。相反，“知识”工作者们提供了必要的洞察力和经验来为“知识”搭建起一个框架，从而“知识”汇集而形成“智慧”。由技术手段产生的“智慧”很快演变成一个哲学问题，但那已经不是本书的研讨范围了。在商业环境内，技术是用来支持“知识”的管理的，员工也有责任在工作中运用他们的竞争力和智慧，并落实到行动中。
图2.1 DIKW金字塔展示了数据是如何通过上下文被丰富，从而创造信息，有意义的信息足以创造知识，而知识集结起来产生智慧
2.2 业务架构
在过去的10年里，人们已经渐渐意识到了太多的公司企业架构仅仅是没有远见地复制其技术架构。为了要在IT的要塞中占有一席之地，业务架构已经成为与技术架构互补的条件。未来的目标是企业架构会综合业务架构与技术架构而全盘考虑。业务架构提供了一种具体地表达业务设计的方法，业务架构会帮助一个组织将其战略远景与底层执行相统一，不管是技术还是人力资源。因此，业务架构包括了从抽象概念到具体概念的联结，这里的抽象概念有业务目标、前景、策略等，具体概念有业务服务、组织架构、关键绩效指标和应用服务等。
这些联结作用是十分重要的，因为它们为如何将业务与其相关的信息技术联合起来提供了指导。一个公认的观点是：公司运作如同一个分层的系统：顶层由首席执行者及咨询团队所组成；中间层由战术层与管理层来掌舵，使公司的具体运行不与其战略要求相悖；底层是操作层，在此执行业务的关键环节并向顾客提供价值。这三层均有各自的独立性，但是每一层的目标都受到上一层的影响，并经常直接由上一层所决定，换句话说，是一种自上而下的结构。从旁观的角度来看，信息却是通过大量衡量尺度的聚集自下而上进行流动的。监控着操作层的业务活动产生了对业务和流程都适用的绩效指标（PI）与尺度。它们合起来形成了战术层所需要使用的关键绩效指标（KPI）。然而这些关键绩效指标又会在决策层与关键成功因素（CSF）结合，用来帮助衡量为了实现战略目标所做出的成果。
如图2.2所示，大数据在公司组织架构的每一层都与业务架构有所联系。大数据能够提高价值，因为它通过外部视角的集成提供了更多的相关信息，可以对数据转化为信息起到帮助作用，同时也能提供从信息中提炼知识的方法。比如说，在操作层，大量的衡量尺度聚集，但那仅仅反映出在这项业务里发生了什么。本质上，我们是通过商业概念以及相关信息将数据转化，从而获得信息的。而这些信息会被管理层使用，通过职员绩效的角度来回答关于业务是如何展开的问题，换句话说，给予这些信息以意义。这些信息可能会被加以补充，用来解释为何业务处于如今这个水平。当有了这些知识后，决策层就能够有更深入的洞察力，去知道为了纠正或提高业绩，需要改变或采用哪些策略。
图2.2 DIKW金字塔阐述了战略层、战术层和操作层之间的分工合作
正如同每一个分层系统一样，这些层级的变化速度并不往往是一样的。在一个商业企业的例子中，决策层往往是变动最慢的层级，而操作层是变动最快的层级。变化慢的层级为变化快的层级保证了稳定性和发展方向。在传统的组织架构中，管理层的作用是使得操作层的发展方向不与决策团队所制定的战略目标相违背。因为这种在变动速度方面的差异，人们有可能会认为这三个阶层的队伍分别负责战略执行、业务执行以及流程执行。每一个阶层都基于不同的尺度与衡量标准，并由不同的可视化结果与汇报展示所表现。比如说，决策层可能会依赖于平衡记分卡，而管理层会使用关键绩效指标与职工业绩的可视化结果，最后，操作层则是依靠完成业务流程的可视化结果和状态来汇报并展示自己的表现。
如图2.3所示，作为Joe Gollner在他的博客中所发的“知识的解剖”的一张图表的变体，展示了一个组织应该如何通过一个反馈环来创建一个良性循环以实现组织阶层之间的联结与共鸣。在图表的右侧，决策层会依照管理层战略、政策以及目标这些限制条件来做决策，以形成判断。战术层随即会将这份信息分级，以产生不同的权重和符合公司方向的措施。这些措施会调整操作层对于业务的执行。这接下来会使内部利益相关者和外部的顾客在交付业务服务时的经历发生很大的改变。这份改变，或者说结果，应该在即将集成到关键绩效指标（KPI）中去的绩效指标（PI）的数据中看见。请记住，关键绩效指标是可以与关键成功因素聚合，从而使得决策队伍的人员得知他们的策略是否奏效。随着时间的发展，由决策层与管理层在这个循环中所注入的判断及措施使业务服务的开展更为精炼。
图2.3 一个通过反馈循环而将组织不同层级联合起来的高品质循环圈的建立
2.3 业务流程管理
随着业务流程被执行，业务向顾客以及利益相关者们传递价值。一项业务流程描述了在一个组织里，工作是如何完成的。它描述了所有工作相关的活动以及它们的关系，以及相对应的组织里的执行者和相关资源。这些活动之间的关系可能是临时的，比如活动A在活动B前被执行。这些关系同样也能够描述活动的执行是否是有条件的，而条件往往是基于其他活动或者项目流程之外的事件所产生的结果与约束。
业务流程管理通过采用流程优化技术来提升公司的执行力。业务流程管理系统（BPMS）给软件开发者们提供了一个模型驱动的平台，这个平台正在成为业务应用开发环境（BADE）的选择。一份业务应用需要在人员和其他的技术主导的资源中进行调停，执行起来符合公司条例，以及保障职员的公平分工。作为一个业务应用开发环境，一项业务流程的模型要与组织角色以及结构的模型、业务实体以及它们的关系，还有商业规律以及用户界面相结合。开发环境将这些模型全部集成起来以创建一个能够管理工作流程和工作量的业务应用。这个业务应用在一个执行环境里完成，而这个环境能确保公司条例和安全性，并且为长期的业务流程提供状态管理。不管是单独的流程，还是全部的流程，他们的状态都能经受住业务活动监控（BAM）的质询，并且能够可视化。
当业务流程管理与智能的业务流程管理系统相结合以后，流程就能够以一个目标驱动的方式来执行。目标是与流程碎片之间有联系的，而这些流程碎片又是基于对目标的估价而进行动态选取与配置的。当大数据分析结果与基于目标的行为一起运用时，业务流程的执行就能够变得适应市场与环境条件。举一个简单的例子，一个顾客联系流程有着能通过电话、电子邮件、文本信息以及传统的邮件的方式来联系顾客的流程碎片。在最初，选择何种方式来联系顾客是并未经过权衡的，选择哪种方式都是随机的。然而，幕后一直在进行着以统计顾客回应的分析结果来衡量联系方式的有效性。
分析结果是与选择合适的联系方式的目标紧密相连的。一旦有明显的偏好，权重便会朝着有利于达成最好的回应的联系方式改变。一份更加充满细节的分析能够对客户聚类产生影响，将单独的客户划归到群组里去，而一个衡量的维度就是联系方式。在这种情况下，联系客户的精度就能得到提高，这为实现一对一的有目标的市场营销打开了一扇大门。
2.4 信息与通信技术
这一节考察了加快大数据在商业中应用的信息与通信技术，有以下的成果：
数据分析与数据科学
数字化
可负担技术与商用硬件
社交媒体
超连通社区与设备
云计算
2.4.1 数据分析与数据科学
企业正在不断收集、获取、存储、管理和处理不断增加的海量信息。这种现象之所以发生是因为想要找到新的洞察力，以实施更为高效的行动，使得管理过程能够具有前瞻性地把控业务，使得最高管理层能够更好地制定和达到他们的战略方案。最终，企业在寻找新的方法以获取竞争优势，因此对于能够抓取有意义信息的技术的需求在不断上升。计算方法、统计技术以及数据仓库已经能够携手合作，且也能分别运用各自独有的核心技术以完成大数据分析。这些领域实践上的成熟催生并促进了当代大数据解决方案、环境和平台所需求的核心功能。
2.4.2 数字化
对许多公司来说，数字媒体已经取代了物理媒体成为实际运用的交流与交付机制。数字产品的应用不仅节省了时间也节省了成本，数字产品的分布依赖于早已存在的、遍布各地的互联网基础设施的支持。当用户通过自身的数字产品与一项业务相连接时，便会产生能够收集辅助信息的机会。比方说，要求一位用户提供反馈，完成一份表单，或仅仅是提供一个钩子程序来展示一份相关广告并追踪它的点击率。收集辅助信息对业务来说十分重要，因为挖掘这个信息能够实现定制化的营销、自动推荐以及优化产品特征的发展。图2.4提供了一份关于数字化例子的视觉展示。
图2.4 数字化信息的例子，包括在线银行、基于需求的电视以及流视频
2.4.3 开源技术与商用硬件
能够存储和处理各式大量信息的技术已经变得越来越经济。另外，大数据解决方案经常在商用硬件上利用开源软件，以进一步削减成本。商用硬件与开源软件的结合几乎终结了大企业过去由于拥有着大量的IT预算而对其他规模较小的竞争者们使用“烧钱”战略的优势。技术已经不再带来竞争优势，相反，它仅仅只是业务实施的平台。从商业的角度来看，能够利用开源技术与商用硬件来产生分析结果，并用它进一步优化业务的执行流程，才是通往竞争优势的大门。
商用硬件的流行使得大数据解决方案可以在不用大量资本投资的情况下在业务中获得应用。图2.5提供了一个在过去20年里数据存储价格跌幅的例子。
图2.5 在过去的数十年里，数据存储的价格已从10 000美元/GB戏剧性地下降到了不到0.1美元/GB
2.4.4 社交媒体
社交媒体的出现已经使得顾客们能够通过公开、公共的媒介，近乎实时地提交自己的反馈。这种转变已经使得各大公司在考虑他们战略规划中的服务和产品供给时，加入了顾客反馈的因素。因此，公司将与日俱增的、由顾客交互产生的大量数据储存在他们的顾客关系管理系统（CRM）内，这些数据来自社交媒体网站的顾客评论、抱怨和嘉奖。这些信息成就了大数据分析算法，使得它能够表达用户的想法，以之来提供更好的服务，增加销售量，促成目标营销，甚至是创造新的产品和服务。公司已经意识到了品牌形象塑造不再由内部营销活动所全权支配，相反，产品品牌和公司名誉是由公司和它的顾客共同创造。基于这个原因，各大公司对来自于社交媒体和其他外部信息源的公共信息集越来越感兴趣。
2.4.5 超连通社区与设备
因特网的广泛覆盖以及蜂窝与Wi-Fi网络的迅速普及，使得越来越多的人和他们的设备能够在虚拟社区中持续在线。伴着能够连通网络的传感器的普及，物联网的基础架构使得一大批智能联网设备成型。如图2.6所示，这反过来导致了可用数据流的大量增长。其中一些流是公共的，而另外一些则直接通往分析公司。举例来说，与采矿业中使用的重型设备有关的基于性能的管理合约能够激发预防和预测性维护的最佳性能，其目的是减少计划之外的故障检修的需要，且避免由之耗费的停工时间。而这需要对设备产生的传感器读数进行具体分析，来对那些可以通过提前安排维护服务而解决的问题进行早期检测。
图2.6 超连通社区与设备包括电视、笔记本电脑、无线射频识别技术、电冰箱、全球定位系统、移动设备和智能电表
2.4.6 云计算
云计算技术的进步已经使得这样的环境成型：通过预付费租赁模式提供高度可扩展性、按需分配的IT资源。公司可以利用这些环境所提供的基础设施、储存和处理能力来得到可扩展的大数据解决方案，以完成大规模处理任务。尽管公司在传统上被认为是由一个云标记来描述的公有云环境，但它们同时正利用云管理软件来创建私有云，以通过虚拟化来更加有效地利用它们现存的基础设施。不论发生何种情况，云的基于负载的动态扩展能力，可以创建出能够最大化有效利用信息通信技术资源的弹性分析环境。
图2.7的例子展示了如何利用云环境的扩展能力来执行大数据处理任务。可以通过租赁基于公有云的IT资源来大大减少大数据项目所需的先期投资。
图2.7 云能被用来在每月底完成基于需求的数据分析，也能由于负载的增加而将系统横向扩展
如今已经在使用云计算的企业，对他们的大数据项目再次使用云计算是合理的，因为
员工已经掌握了所需的云计算技能
输入信息已经存在于云中
使用云服务对于那些打算在可通过数据市场获得的数据集上进行分析的企业来说是极富逻辑性的，因为许多数据市场便将它们的数据集放在一个云环境中，比如Amazon S3。
总而言之，云计算能够为一份大数据解决方案提供三项必不可少的材料：外部数据集、可扩展性处理能力和大容量存储。
2.5 万物互联网
信息与通信科技、市场动态、业务架构以及业务流程管理这些行业的进步汇聚起来，为如今被称为万物互联网（IoE，以下简称“万联网”）的产生带来了机遇。万联网将由智能联网设备所提供的服务结合起来并转化为有意义的、拥有着提供独特和充满差别的价值主张能力的业务流程。万联网是创新的平台，孕育了新产品、新服务和商业的新利润源。而大数据正是万联网的核心部分。运行在开源技术与商用硬件上的超连通社区与设备产生了能在可延伸的云计算环境中进行分析的数字化数据。这些分析的结果能够产生有前瞻性的见解，例如当前流程会产生多少价值，以及这个流程是否应该提前寻觅机会来进一步地完善自己。
专注于IoE的公司能够提升大数据方法来建立或优化工作流程并将之作为外包业务流程提供给第三方。正如同在2011年由Roger Burlton所编辑的“业务流程声明”中所写的，一个组织的业务流程正是为其顾客和其他股东产生价值成果的源头。结合了对流数据和顾客环境的分析，这种将业务流程的执行与顾客的目标相关联的能力将是未来世界哪家公司能脱颖而出的关键。
在当今传统农业设备大行其道的环境下，一个从万联网中受益的例子就是精细农业。当所有设备连接在一起成为一个系统时（即GPS控制牵引车，土壤湿润与施肥传感器，按需灌溉、施肥和施药，以及变量播种等设备全部集合起来），便能在成本最小化的同时最大化土地产出。精细农业提供了挑战工业单一耕作农场的另一种耕种方法。有了万联网的帮助，一些小型农场能够通过提高作物种类和对环境敏感的实践来与大农场相抗衡。除了拥有智能联网的农业设备外，大数据分析设备和现场传感器数据可以驱动一个决策支持系统，以引导农民充分利用他们的机器达到土地最佳产量。
2.6 案例学习
ETI公司的高级管理委员会调查了公司衰退的财务状况，认识到公司如今的许多问题本可以早些检测到的。如果战术层的管理者们能够有更清醒的意识，他们本可以提早采取措施来避免损失。这种提前警醒能力的缺乏是由于ETI未能察觉市场动态已经发生变化。采取新科技来处理业务和设置溢价的竞争者们搅乱了市场，并夺取了ETI业务的份额。与此同时，ETI公司缺乏复杂的欺诈检测系统这一缺陷也被不道德的客户甚至是有组织的犯罪集团所利用。
高管团队向行政管理团队报告了他们的发现，接下来，为了实施之前制定的战略目标，一套新的公司转型与创新优先顺序被制定，它们将被用来指导和分配公司资源，来产生将来会提高ETI盈利能力的解决办法。
考虑到转型，业务流程管理条例将会被采用，用来记录、分析和提升业务处理。这些业务流程模型将会用于一个业务流程管理系统（BPMS）中。BPMS是一个流程自动化框架，保证流程的持续和自动化执行。这会帮助ETI展示法规遵从性。另外一个使用BPMS的好处是业务处理的可追踪性使得追踪哪位员工处理了哪项业务成为可能。尽管还没有被证实，但是有诸如此类的怀疑，比如一部分的欺诈性业务可能追踪到一些试图破坏由公司条例规定的内部人工控制的员工。换句话说，BPMS不仅仅会提升满足外部法规遵从性的能力，还会加强ETI内部操作流程和工作实践的标准。
风险评估和欺诈检测的能力将会由于新型大数据科技的应用而获得提升，而这些大数据科技能够产生相关分析结果，帮助做出基于数据驱动的决策。风险评估结果将会通过提供风险评估度量的方式来帮助精算师减少他们对于直觉的依赖。此外欺诈检测的输出将会被引入自动索赔业务处理流程。欺诈检测的结果同样将被用来将可疑的索赔引入有经验的索赔调整器。这些调整器能够依据ETI的索赔责任书来进一步仔细评判一项索赔的性质以及它具有欺诈性的可能性。随着时间的推移，这种人工处理能够导向更好的自动处理，因为索赔调整器的决策会被BPMS追踪并用来创建索赔数据的训练集，其中包括了这项索赔是否被视为欺诈性的决定。这些训练集将会增强ETI实施预测性分析的能力，因为这些训练集能被一个自动分类器所使用。
当然，决策者们也意识到他们是不能够一直不停地优化ETI的业务执行的，因为还没有使数据丰富到能够产生知识的层次。而这个原因最终被归结于对于业务架构缺乏理解。对公司而言，决策者们理解到他们一直将每一项测量标准看作一份关键绩效指标（KPI）。这会产生许许多多的分析，但是由于缺乏重点，导致它并不能展示应有的价值。但是一旦理解到KPI是高层次的度量标准且不是每种度量都能被称为KPI后，决策者们才能够同意一些度量应该是由战术层来监管。
此外，决策者们往往在将业务执行与战略执行联合起来的方面有问题。而这种现象的产生一部分是由于对于关键成功因素（CSF）的定义出现了错误。战略目的和目标是由CSF来进行评估的，而并非是KPI。将关键成功因素放置在正确的位置能使ETI的战略层、战术层和操作层的业务执行变得井然有序。ETI的行政和管理团队将会紧紧盯着他们的新度量和评价策略，尽全力在接下来的季度里量化它所带来的好处。
ETI的决策者们做了最后一个决定，这个决定创建了一个新的负责创新管理的组织角色。决策者们意识到公司一直以来变得过于内省。由于同时要管理四条产品线，决策者们没能认识到市场动态正在改变。他们非常惊讶地了解到大数据和当代数据分析工具与技术的好处。此外，尽管他们已经数字化了他们的电子账单以及在业务处理方面大量使用了扫描科技，但是他们并没有考虑到客户们对于智能手机的使用会产生数字信息的新渠道，而这些新渠道会进一步使业务处理现代化。尽管决策者们不觉得他们在一个对基础设施采用云技术的关键位置上，他们已经考虑到了使用第三方软件作为服务提供者来减少与管理顾客关系相关的操作成本的方法。
到了现在，决策者和高级管理团队相信他们已经解决了组织协调问题，形成了合理的计划来采用业务流程管理条例和科技，并成功地使用了大数据技术，旨在提升将来他们感知市场的能力，因此会更好地适应不断变化的环境。