百度百科上BI的定义是:商业智能(Business Intelligence,简称:BI),指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。BI产品则是将上述过程流程化的平台化产品,在降低数据获取、分析成本方面,契合中台的思想,因此也是作为数据中台解决方案的重要模块。
对于产品&业务:
产品迭代、运营活动需要各种数据分析支持,数据调取依赖数据开发排期长、响应慢,需求完成决策时效性可能已经过去,紧急需求求爷爷告奶奶
SQL取数门槛高,多数业务人员无SQL能力
数据可视化报表需要数据、接口、前端多工种支持,一个报表上线要一两周
对于开发:
需要有人专门对接非固定的SQL取数工作,重复、枯燥,干不了多久就离职了
每天都在各种取数据、做报表,忙成狗,还是不是来个紧急需求,或者需求排期久了被投诉
感觉每个报表前端都长得差不多,还要不断重复开发可视化报表,心累
BI产品解决的痛点问题
无SQL业务人员自助取数的问题,取数不求人
数据开发人力释放,可以有更多的资源投身数仓模型的建设,提高模型覆盖度
可视化看板自助配置,业务可以基于数据模型快速搭建看板,无需接口和前端开发
二、自研还是外采,这是一个普遍问题
1.行业现状
成熟的商业化的BI产品国内外都有很多,按照业务场景和主要卖点可以分为:传统型BI、用户行为分析、基于云服务的SAAS化BI产品
传统BI
Tableau、帆软BI、永洪BI、BDP、亿信华辰、观远数据
用户行为分析
从埋点采集到用户行为分析的全流程解决方案,从全埋点或无埋点切入,主要有神策数据、GrowingIO、诸葛IO等,还有部分垂直于游戏或广告投放领域的分析产品如TrackingIO
SAAS化BI产品
基于云服务之上的BI分析工具,核心产品是云上资源,BI产品作为增值产品或服务。如阿里云的QuickBI,华为云、腾讯云、百度云、移动云等,都有相应的搭售产品。
2.自研或外采
外采还是自主研发这是每个BI产品诞生时都要经历的灵魂拷问,首先要回答老板,外部已有那么多成熟的产品,我们要不要从0-1开始,自己做的价值是什么?这两种方案对比如下:
采购价格上,以阿里云Quick为例,一个300人的团队一年的费用大概在40W,帆软价格比较亲民,可以买断付费,基本功能在30W左右(外加每年服务费、跨版本升级费用、扩展功能费用等)
总结一下如何选择的要点
公司管理层,对数据团队人力投入的支持,比较新做一款BI产品需要较长周期和较多人力,短期内外采肯定是见效最快的
公司对外采的态度,有些公司有自研情结,只要能解决自己业务问题,都可以考虑自研,不爱买别人的
数据平台研发团队的人力现状,产品、研发的人力和能力能否Cover住BI产品的需求
公司规模主要是看数据用数据的人数,这是个参考值,一般1000人以下的团队外采性价比是最高的,当然如果管理层看的比较长远愿意投入,这个值就不作参考了。
三、BI产品0-1实践流程
第一步:需求分析
通过业务场景调研、沟通,了解目前公司数据流程现状,业务主要诉求及痛点问题,评估建设BI产品的必要性
第二步:实施方案评估
结合公司实际情况分析自研和外采的优劣势,输出总结,汇报老板,敲定最终方案
第三步:功能需求梳理
不管是外采还是自研,最终都需要解决痛点问题,结合第一步需求分析过程,形成对BI产品的功能清单,自研作为产品需求范围,外采作为厂商选择依据
第四步:组建专项团队(以自研为例)
BI产品的研发需要产品经理、前端开发、后端Java开发基本的人力配置,最好要有UI/UE,QA资源,这样产品易用性会更高。
第五步:产品持续迭代
一期可以从MVP版本开始,满足基本的分析需求,逐步扩展和迭代新的功能
四、BI产品核心功能架构
敏捷BI工具的标配流程是数据建模、拖拽分析、可视化呈现、系统管理等功能模块,随着基础看数据的需求满足后,业务会有更多增强分析、以及从人找数到数找人的预警、推送需求。同时,对于数据生产者,要持续降本增效,因此围绕数据血缘看板生命周期相关的数据治理流程,在自研产品中也要考虑进去
1.BI系统架构
数据源:从系统架构层级看,BI系统最底层是数据接入层,数据源是原材料,否则工具做的再好也是巧妇难为无米之炊,要支持接入常用关系型数据库,以及数据仓库的数据源。
数据模型:数据接入后,在数据模型层,做表之间的关联、字段逻辑处理、元数据信息维护,形成模型资产,把模型主题、层级分门别类管理好,方面业务快速找到目标数据源,同事需要做好模型权限、字段、行值权限管控,技术层面要把不同数据源集成到OLAP查询引擎,提升即席查询效率。
分析层:无SQL拖拽分析,业务基于数据模型,可以直接选择维度、度量、过滤条件后,直接进行数据查询,同时封装可视化图表组件,做结果的可视化展示。对于需要固化的分析结果,可以将图表保存至Dashboard,且可以对图表系列颜色、数据标签、筛选条件等进行设置
输出层:主要包括Dashboard输出、将看板以iframe方式嵌入其他平台、数据推送&预警,以及可视化大屏。将可视化能力直接在系统内应用或跨系统复用
2.产品功能框架
数据模型:主要提供数据源接入、数据源管理、数据建模能力
自助分析:支持拖拽式分析,同时可以作为通用能力,对接数仓数据源、指标平台指标等,随着版本迭代,图表类型要不断扩展,从基础的表格、折线图、饼图、柱状图,到复杂的地图、桑基图等,数据分析能力不断增强,预测、归因分析等
Dashboard:可视化报表创建、管理
可视化大屏:大屏模式,提供常用模板快速搭建大屏
系统管理:用户权限管理,某一用户有哪些资源(看板、数据集等)权限、看板/数据集管理(用户范围、使用情况、生命周期)
五、BI产品对比分析
目前很多成熟的BI产品,帆软是起步比较早的传统型BI产品,QuickBI则是基于阿里云的SAAS化产品,两个产品特点还是比较有代表性的。完整的竞品分析报告后期文章会输出,本文主要从两者的核心差一点仅做简述。
QuickBI
帆软BI
自助分析方面,从Dashboard创建的交互流程上看,QuickBI设计画布是以看板为目标,每个图表作为看板组件和元素,图表对应的数据源、样式设置是图表的一个参数,设计过程是看板布局绘制的过程,弱化了拖拽分析过程。
帆软BI则是创建看板画布后,图表的编辑跳出看板,在一个自助分析页面,自助分析页面拖拽式交互操作较强,用户可以在自助分析页面仅做分析,不做看板配置。
可视化效果上,QuickBI的画布组件功能更加灵活,可视化效果自定义程度更高。
六、BI产品发展趋势
数据分析能力:基础的BI产品满足业务取数的需求,仍有较多场景业务下载数据后利用excel或者python等分析工具进行二次分析,BI产品要结合分析场景,把更多分析过程融入到系统里,让业务在产品内完成分析过程
AI智能分析:从人工分析,向基于算法模型的智能归因分析、数据预测等能力扩展
数据推送:数据订阅或预警推送,从人找数到数找人
市场下沉:企业服务,随着大数据、数据化管理的逐步普及,中小企业对BI的需求会更加强烈