永洪科技CEO何春涛解读“Gartner 2017 BI与数据分析魔力象限报告”
点击上方 “中国云报” 可关注！
在成年累月地探讨之后，人们不再像之前那样将云计算和大数据当做热点谈资，而大约一年前投资圈对On-Premise和SaaS的态度还是泾渭分明的。商业社会持续催生热点吸引着大家，但人们对每个热点的关注往往难以持续。
我们看到，在BI与数据分析市场客户将不再关注模式是On-Premise还是SaaS，或者底层是不是大数据技术，尘埃落定之后渐渐回归到了商业的本质，也就是如何给客户创造价值。
从2010年开始，BI与数据分析市场便形成了一个趋势，那就是从IT驱动升级到业务驱动。这一趋势在2016年得到了完全确认，在Gartner 2016年BI与数据分析魔力象限报告中，在领导者象限传统BI与数据分析厂商无一幸存，有的甚至在整个魔力象限报告中完全消失。而Qlik、Spotfire、Tableau等敏捷BI与数据分析厂商的业务持续增长，到2016年已经几乎完全接管了BI与数据分析的增量市场。
BI与数据分析市场的这一巨大变革，源于整个市场的用户和场景的变革。
在上世纪末和2000年初，BI与数据分析领域的最常见场景，就是IT人员负责企业各个部门的需求收集并将之实现成为一张张静态报告，而业务人员则查看静态报告，或者接收到系统推送的一张张静态报告。
这一场景存在着两个巨大的问题，首先是IT人员不足成了企业数据分析的瓶颈。占企业不到5%的IT人员承担着巨量的静态报告开发任务，他们加班加点地工作以月或者季度为单位发布更多的静态报告，IT人员工作负担很重。第二，分析报告的及时性无法满足业务需求，往往也让一线业务人员经常抓狂，例如电商企业的一线营销人员在备战双11时往往需要数据来做决策，但面对这样的需求IT人员往往只能在12月才能提交上线。
基于以上需求，在2000年左右BI与数据分析市场出现了几款面向业务人员数据分析需求的单机版产品，例如QlikView、Spotfire等，这些单机版产品受到了越来越多业务人员的喜好，后续这些单机版产品逐渐演变为企业级产品，到现在又逐渐演变为云平台产品。
越来越多的业务人员成为了BI与数据分析产品的深度用户，很多人还成为了“公民数据科学家”。
当前，“公民数据科学家”的增长速度是“职业数据科学家”的5倍，这一增长速度意味着成百上千家企业里，有成千上万的“公民数据科学家”如雨后春笋般涌现。
他们接入敏捷BI与数据分析平台，按照自己的意愿去探索数据、发现问题、找到答案并采取行动。大量具有业务洞察的数据分析报告被他们制作、分享、交流，整个过程被IT人员在企业级平台上进行监控和管理。
这一场景在2016年成为了主流场景，BI与数据分析市场的大部分采购都源于业务部门的主张，IT部门会积极主导并参与其中。他们采购的往往都是敏捷BI与数据分析产品，这些产品必须很好地支持无边界的探索式分析。
要更好地满足业务人员的需求，新技术成为了解决新问题的必要手段。
要支持无边界的探索式分析，细粒度数据是基础性要求之一。
举个例子：基于每一张订单的细节数据，业务人员将能分析去年全年订单销售收入中男性消费均值、男性消费方差、女性消费均值、女性消费方差，区域消费均值、区域消费方差等等。而上世纪90年代的数据分析技术建立在OLAP等预先汇总技术之上，很难满足无边界的探索式分析。这并不是因为我们的前辈水平有限，而是因为当时处于286、386、486、586时代，哪怕是小型机的存储和计算能力都很有限，只有把数据进行预先汇总，企业的BI与数据分析的平台才基本可用。20多年来，这些传统BI与数据分析平台为企业带来了巨大的价值，也因为技术架构的限制而难以适应当前的新需求。
从2000年以来，大数据技术逐渐发展起来。分布式计算、分布式存储、高性能计算、库内计算、列存储等相关技术应运而生，并被投入到实际的商业应用中逐渐成熟。
但事情没有那么简单。在大数据时代，一则数据源复杂且数据量巨大，二则业务人员并不具备足够的计算机科学知识，这让整个场景变得复杂起来。
从使用永洪科技的一站式大数据分析平台Yonghong Z-Suite的用户群体中我们发现，在探索式分析场景中，业务人员一个无心的点击有可能给平台带来上百亿次计算量，什么计算请求应该被支持什么计算请求应该被刹车，这对平台提出了极高的要求。一站式大数据分析平台需要支持上千甚至上万个用户，在这一平台上既有成熟的数据分析报告，也有探索式分析；既有高时效性数据分析报告，也有低时效性数据分析报告。如何让整个平台一直稳定高效地运行并持续支撑上万用户的数据分析需求，这对大数据技术提出了更高的要求，因此现代企业最需要的一站式大数据分析平台的研发难度极高。
另一方面，业务人员对平台的易用性提出了更高的要求，语音输入、模式匹配、自然语言搜索等新技术也将被BI与数据分析产品纳入，去更好地支持业务人员的数据分析需求。
AI和深度分析将成为“公民数据科学家“的下一个使用热点。
基于统计方法，探索式分析为业务人员带来了强大的数据解读能力。他们可以从数据中快速找出模式、发现异常、解读趋势等等。
但这还是不够，如果平台能给业务人员提供有效的深度分析能力，业务人员将不只能看到过去，还能预测未来。不过，”公民数据科学家“毕竟不是”职业数据科学家“，他们当中的大多数人不懂分类不懂聚类，也不懂时间序列等等技术，如何让他们能得心应手地结合深度分析技术从数据中获取洞察，是一个不小的挑战。
另外，AI技术在各个领域改变着人们的生活，结合AI技术人们在自动驾车自动扫地自动飞行等领域取得了很大的进展，而BI与数据分析市场也必然可以结合AI技术为用户带来更多的价值。虽然AI技术在这一领域尚未被成熟而广泛地运用，笔者相信自动分析将在下一代BI与数据分析产品中发挥巨大作用。
云计算和大数据将不再是热词。
云计算和大数据已经是多年的热词，各行各业的人们都在讨论云计算和大数据，IaaS、PaaS、SaaS、DaaS等云计算术语让人应接不暇，而HDFS、MapReduce、Spark等大数据术语也吸引着大量眼球。笔者发现，在成年累月的探讨之后，人们不再像之前那样将云计算和大数据当做热点谈资，而大约一年前投资圈对On-Premise和SaaS的态度还是泾渭分明的。商业社会持续催生热点吸引着大家，但人们对每个热点的关注往往难以持续。
我们看到，在BI与数据分析市场客户将不再关注模式是On-Premise还是SaaS，或者底层是不是大数据技术，尘埃落定之后渐渐回归到了商业的本质，也就是：如何给客户创造价值。
Gartner 2017 BI与数据分析魔力象限报告
现在BI与数据分析市场从IT为中心转向以业务为中心的状况已经成为主流。数据和分析市场的领导者们面临无数的选择：传统的BI供应商已经在近期不断创新弥补了差距，而那些“分裂者”们则进一步的增强了落地实施的能力。
到2020年，智能的、企业级管控的、基于Hadoop/Spark技术的和以可视化为基础的数据挖掘能力将成为下一代现代BI和数据分析平台的组成部分。
到2021年，现代BI和数据分析平台将会因为智能数据挖掘能力的不同而体现出差异化，拥有智能数据挖掘能力的平台的用户量将达到非此类平台两倍的增长率，而这也会给客户带来两倍的商业价值的提升。
到2020年，自然语言处理和人工智能技术将成为90%的现代BI平台的标准性能。
到2020年，50%的分析问题将通过使用搜索，自然语言处理和语音的方式生成，或者将被自动生成。
到2020年，一些平台将为用户提供内部和外部的数据目录，与无法提供这些数据目录的企业相比，他们将帮助客户通过对数据分析的投资实现两倍的商业价值。
到2020年，公民数据科学家的数量将比数据科学家的数量增长快五倍。
BI厂商们应该支持以下5种应用场景：
1.以敏捷为中心的BI产品：这种平台支持敏捷型的、IT化的工作流程，包括从数据到集中交付和管理分析内容，平台具有自有的数据管理能力。
2.去中心化的分析：支持数据的自服务数据分析。可以为独立的业务模块和用户提供分析支持。
3.数据挖掘管控：支持从自服务数据分析到自助创建数据分析管理页面的工作流程，IT级的内容管控，而用户内容生成、管理页面和分析内容都是可复用和可升级的。
4.OEM和内嵌式BI：支持数据分析流程以内嵌BI至一个流程或者一种应用中来实现。
5.外部部署：支持为外部客户或者公共领域、公民接入分析内容，流程类似以敏捷为中心的BI。
以及以下15种关键能力：
基础设施
1.BI平台的监管、安全与架构:平台具有安全管理、用户管理、平台接入与使用的审计、调优和保障高可用性和容灾的能力。
2.云BI：具有平台即服务和分析应用即服务的能力，可以同时在云端和本地部署、使用和管理数据分析报告和数据分析应用。
3.数据源的连接和融合：让用户能连接到云端和本地化的结构化和非结构化的数据，包含支持不同类型的数据存储平台。
数据管理
4.元数据管理：该工具能够让用户利用数据包模型和元数据。实现这些功能需要提供一种强大的和核心的方式方便管理者们去搜索、抓取、存储、复用和发布元数据对象，比如维度、层级、度量、表现特性/核心指标和报告布局等。平台管理者们需要有能力去升级业务用户创建的数据模型将其提升为系统级的数据模型。
5.自有数据的抽取、转换、加载以及数据存储：该系统有能力为连接、融合、转换和加载数据至一个自有的功能引擎以及有能力去索引数据、管理数据加载以及更新计划。
6.自服务数据准备：平台可拖拽不同来源的用户数据集，可生成分析模型，比如根据不同数据来源的用户可自定义度量、组合、集合和层级。高级功能包括对不同来源的数据通过机器学习、语义识别、智能联结、智能侧写、层级生成、数据行数和数据混合等进行分析处理。
分析和内容创造
7.内置的高级分析功能：让用户可以非常方便的接入高级分析功能，在自有平台或者通过引入、结合外部高级模型进行分析。
8.分析仪表盘：通过视觉探索和内置的高级地理空间分析能力去生成能够被其他人使用的高交互性的仪表盘和内容。
9.可交互的视觉化探索：使这种数据分析的探索可以借助可视化的选项，包括但不限于基础的图表形式，比如饼图、柱状图、线图等，也包括热力图和树状图，地图和散点图以及其他特殊主题的图表形式。这些工具能让用户通过百分比、细分和组合的展示情况去分析和操作数据。
10.智能数据挖掘：帮助用户在不通过查询和建模以及写算法的情况下自动挖掘、视觉化和叙述重要的分析发现，比如数据间的关联、排除、集合、连接和预测等。11.移动端的数据探索和编程： 通过利用移动设备的天然属性，例如触屏、照相功能和地理位置信息，让客户可以用发布或交互的模式给移动设备升级和传送内容。
分享发现
12.嵌入分析内容：这种性能包含供应商提供的软件开发工具包和API接口，支持用户创建和修改分析内容，支持可视化展现和嵌入应用程序，可将其嵌入到业务流程、应用程序或门户的开放标准中。这些能力可以来自于外部的应用、或者被复用的分析基础设施，但必须可以无缝的与内部应用连接，也不需要让用户在两种系统间进行切换。这种能力让BI与其他数据分析应用架构可以结合，让用户可以选择在哪个业务流程中嵌入分析模块。
13.分析内容的发布、分享和结合：这些能力可以让用户通过不同的结果类型和分布方式去发布、配置和优化分析内容，同时也有对内容搜索的支持、计划和预警的功能。
整体平台能力
14.平台能力和工作流：对于单一的、无缝的产品，或者多个产品来说，需要基于怎样不同的功能去适配这种融合的需求。
15.便捷的使用和可视化展现：对管理者来说可以便捷的使用和部署平台、生成内容、销售内容以及与内容互动，同时也具备可视化展现的能力。
这种预期的低增长率是对目前主流市场的情况反馈，这说明市场的需求正在增加，但仍会受到价格压力的阻碍。购买决策将持续受到业务决策者和业务用户的强烈影响——这些使用者希望使用更敏捷的、具备成功能力的产品，为小型组织和部门级使用而服务。这意味着这种先落地再扩展的模式始终主导着市场的销售形态，但作为企业客户来说实施需求的增长以及平台的模式是否对具备敏捷、客户友好等性能已经成为了更重要的衡量标准。企业的IT部门现在已经失去了部分的决策影响力。在这个快速进化的市场中，新增长的核心驱动因素如下：
在规模上，现代BI是新型采购的主要目标：企业在管理上的需求递增将推动IT部门更多参与到业务用户的需求实现上。业务用户最初倾向于使用这些新型工具的原因是通过这些工具进行数据分析，可以让他们不依靠IT中心的帮助而自行完成——这对他们来说是最主要的吸引力。而现在用户数的增加、应用场景复杂性的增长以及更多应用场景的产生都使业务部门催生出更多的使用需求。因此IT部门必须更多的与业务部门协作，用更好的更敏捷的流程去支持快速的业务扩张需求，支持业务用户自助完成分析内容以及这些内容的分布，去保障使用和决策是基于可信赖的数据分析的基础之上。现代的BI工具可以拥有更好的连接性、更敏捷的分析方式以及更客观的分析洞察，同时也将保持很好的易用性，这些都将驱动和主导新的采购方式的产生。
创新型供应商和已有的厂商会驱动下一次市场分裂的浪潮，而现在这种情况已经开始显现。市场一旦分裂，可视化的探索经验将成为主流并被普及，无论对大型或小型的厂商都是如此，这个市场将成为下一次分裂的风口浪尖，将推动新一轮购买激增的热潮——原因是这种高性能的产品将为用户减少从高级分析中获得洞察的时间，以及为他们带来在企业内部更广泛的分析组合。智能数据挖掘能力会帮助用户自动的去发现那些存在于大量的、复杂的和持续增长的复合型数据集中的隐秘模式，而这些都不需要通过建模、写代码或者查询来实现。这些能力减少了人为和自然的偏见在可视化探索编程中的产生，用户可通过高亮、视觉化和描述重要发现、关联、组合、预测、异常值、异常呈现、联动或者数据趋势，在不通过建模的情况下去展现数据分析的结果。这种能力让用户通过自然语言理解和嵌入可落地的应用模块去实现数据查询和探索式分析，将帮助企业扩大数据分析的范围和价值。智能数据挖掘利用自动探索让数据科学平台进一步增强了性能，而在未来，专业领域的数据科学家将推进更前沿的数据探索和验证的方式去支持企业决策的需求。当创新型企业的新浪潮崛起时，传统BI的厂商们——那些曾经以缓慢的步调适应“现代分裂浪潮”的公司， 现在已经给出了回应（比如IBM和Salesforce），而他们中的一些也正在主导下一次的“智能”潮流。
对复合型数据集的需求驱动了在数据准备上的投资。业务用户希望能够分析不同来源和不同类型的数据，这其中还包含大量且复杂的数据组合和数据模型，除数据仓库和数据池之外，也包括对流数据的处理能力的需求等，这都要求更快速的计算能力。这种能力需要能够支持对数据的快速准备、清洗、丰富以及发掘出可信赖的数据，对扩展使用需求来说，对复合型数据集的支持变得非常重要。
可延展性和可嵌入性将成为扩大使用范围和提升使用价值的主要的驱动因素。扩大使用范围的方式可以通过为业务人员包括内部用户和客户提供更为自动化的工具或者给他们正在使用的应用产品内置分析模块来实现——也可以两者兼而有之。可嵌入性和对用户内容的分析能力的提升将成为这些工具的适用性和普及性的有力支持，无论从分析产生的价值或者分析本身来说皆是如此。
支持对实时活动和流数据的处理能力，将帮助使用场景得到延伸。为适应企业快速决策的需求，企业将增加对设备、感应装置和交互产生的流数据的处理需求。在BI和数据分析市场将需要在一些类似的能力上进行技术投资——目的是帮助买家提供可以将实时活动和流数据以及其他来源和种类的数据合并处理的平台，将其升级成一种新的高效能分析应用，以帮助客户在实时的可落地的洞察建立之后，保障分析洞察可以被很好的利用起来。
内容、数据和算法的市场空间将得到提升，而这些市场也将变得更加成熟，将为企业创造更多的机会去购买、出售在业务洞察上的分析能力和计算能力。
在细分领域内新的市场空间的增长使买方和卖方能转换和交换分析应用，规划数据的来源，定制可视化的展现和算法，而这些市场空间的增长很可能就出现在BI和数据分析市场。现有的市场空间仍然为BI厂商提供了新的渠道——在平台上构建出解决方案，通过他们的客户渠道和合作伙伴的资源去销售产品。成熟市场空间的主要好处在于——这是一个可连接终端用户群体到虚拟的无限能力的通道，这将帮助他们在自己内部发展出解决方案和流程。
对云部署的需求将持续增长。云产品很有可能会帮助客户减少部署时间和成本。然而，“数据重力”的现象仍然存在，大多数企业仍倾向于本地部署，这成为这种转变情况的抑制剂—特别是对于IT部门的采购者来说。现在，这一状况正在缓慢的被改变。在2016年，有46%的参与调查问卷的客户表示他们已经或者准备要做云端BI的部署了，来自业务端客户的反馈要比IT端客户的反馈更加积极。到2017年，云端部署的比例将增加到51%，大部分增加的比例会来自于IT部门的需求转变。我们希望这种趋势将继续，伴随着新的软件授权方式/购买方式成为主流（超过半数），预计这种情况会持续到2020年。
伴随下一次市场分裂的浪潮，新的创新型供应商将持续产生，而这次变革应该被厂商们看做是整体策略的一部分。之后的几年中，大型的BI厂商在创新技术和创新领域的投资同样会让买方收益，同理，风险投资机构对创新型企业的投资也同样能使买方市场获益。对过剩的创新产品的试点出现了下降趋势，同时供应商们去做POC的频率也在下降，这种趋势体现的是买方企业随着时间推移将产生更多的科技负债——多个独立的解决方案会促使业务价值快速（匆忙的）转变为产品实施，而在实施过程中却往往缺乏足够的对系统设计，项目执行和项目支持的关注。在这个快速进化的BI市场中，企业应该通过发展正式的IT策略和参考合理的项目架构去避免在做选型评估时产生科技负债， 这些策略也将帮助企业在未来避免大部分返工和再设计的工作量产生。
感谢关注中国云报