AI + BI ,省去传统拖拽操作的过程,超越模型固有字段的限制,对数据进行快速彻底的智能分析,让企业与个人的数据分析工作耗时更短,更加专业。
本次分享将全场景介绍 Sugar BI 中的智能分析能力,分享技术细节,展示使用 Demo,帮助您快速上手并应用于实际业务中。
本文整理自线上分享,回看链接在文末。
通过本次技术干货分享,让大家更全面的了解如何利用 AI 能力帮助企业提高数据分析效率、科学决策。
今天分享的内容分为这几个部分:
产品概况:首先简单介绍 Sugar BI 整体的功能特点和发展情况,帮助大家了解Sugar BI 的基础能力。
Sugar BI 智能分析:全场景介绍 Sugar BI 中的智能分析能力、技术细节。并演示Sugar BI 的智能化功能,帮助观众快速上手应用于实际业务中。
精彩预告:AI + BI + X, Sugar BI 年底重磅功能上线预先揭幕。
分享概览
Sugar BI 适合于各行业,也适用于各种体量的客户来使用。Sugar BI 现在的客户群体,不仅有互联网大厂、金融机构、工业集团等大型企业,同时也有很多小微企业以及个人开发者在使用。
1.1 使用场景
Sugar BI 主要有两个使用场景:
数据可视化
数据分析
1.1.1 数据可视化
传统的数据可视化上线流程涉及很多人员、角色。流程上包括数据准备、页面设计、研发工作。一旦需求有了改动,新增迭代周期将以周或月为维度,耗时耗力。使用 Sugar BI 后,从数据接入、页面制作到最后页面发布,可做到全流程降本增效。
Sugar BI 可提供 2 种主要展现形式,交互式报表、炫酷的大屏。用户可做到零代码,完成设计和制作流程。将数据可视化实现时间,压缩至小时级别。
1.1.2 数据分析
在数据分析场景下也是同样逻辑,Sugar BI 提供了更加高效的分析流程:
不再过度依赖研发人员的支持,数据分析人员自己即可快速获取需要的数据。
数据分析人员在得到数据之后,可以快速转换成各种数据图表,进行分析并得出结论。
Sugar BI 提供数据探索页,分析人员想要对数据集里数据分析时,可以直接使用自然语言或拖拽字段方式探索。这个过程也就是图中对应的 AI 问答和 BI 自助分析两种方式。其中 AI 问答会是今天后面智能分析专题中的一个模块,在文章后半部分我们将会为您详细介绍。
目前 Sugar BI 内置了 50+ 酷炫大屏与报表模板,能够满足大部分场景下用户的可视化需求。以下为大家进行部分大屏模板的展示,也欢迎大家点击下方链接,查看Sugar BI 更多精美酷炫的案例集:https://sugar.aipage.com/dataPortalShare/SugarBI?menu=m_l4e2x9qy24kcn
前后端性能监控大屏
Sugar BI 报表
以上可视化页面,我们注意到左侧均有目录导航栏。这其实是使用了 Sugar BI 数据门户的功能。数据门户可以将各种不同的可视化页面整合为一个、并对外分享。
以上可视化模板支持用户在 Sugar BI 里直接使用。用户可以直接基于这些模板来创建报表和大屏编辑成自己数据,修改成自己想要的样式,得到独一无二的酷炫报表和大屏。
2016 年,Sugar BI 的前身是 ShowX。ShowX 是在百度内部最大的报表平台,覆盖300 多条产品线、运行几万张报表。支持众多产品线也为团队带来了大量的业务需求,ShowX 团队在支持内部业务的过程中不断打磨着产品、完善产品功能。
2018 年,ShowX 更名 Sugar BI,在百度智能云以 SaaS 的形式对外提供服务。在Sugar BI 上线的第一年,日活用户超过 1 万。
同年, Sugar BI 开启私有部署版本的商业化进程。
2020 年,Sugar BI 已经能够支持 100+ 可视化图表与 40+ 数据源的对接等,并开始提供英文版产品,服务海外用户。
2021 年,Sugar BI 开始规划智能分析方向,希望利用 AI 能力来辅助用户数据分析。
2022 年,Sugar BI 全面深入智能化领域,上线了自动分析、波动分析等智能化功能,这些也是我们后面要重点分享的内容。
Sugar BI 发展历程时间轴
最底层是数据源:Sugar BI 支持各种主流、非主流数据库。支持种类非常全面丰富,同时还内置了 MPP 让用户可以上传 Excel、CSV 本地数据文件。同时用户也可以通过数据填报功能收集问卷数据。
数据库的上一层是数据模型,Sugar BI 通过数据模型打平了各数据源差异,以一种统一形式将数据提供给上层的数据使用者。
可视化分析:主要可视化分析方式包括报表、大屏,自助分析搜索。我们今天要介绍的几个智能分析的功能就分布在这个部分中。
可视化能力的应用,比如页面分享和报表邮件。
功能架构图的右侧则展现了 Sugar BI 的周边辅助能力,比如支持各种账号系统接入以及灵活的权限管理。
Sugar BI 功能架构图
经过多年商业化的发展,Sugar BI 的客户覆盖政务、金融、互联网、制造业、教育等多个行业。比如金融行业的华泰证券和银联,教育行业的北京大学,互联网行业的知乎,政府部门的信通院和气象局,工业方面的奔驰和国网等等。
同时 Sugar BI 还继续支持着百度内部的业务,比如百度 APP、无人驾驶、百度贴吧、百度 feed 等,他们都在 Sugar BI 内进行业务运营和数据分析的工作。
另外,Sugar BI 的内部版本和给各位客户提供的版本完全保持一致的,内外部业务对 Sugar BI 产品的优化和提升,让我们的众多客户共同受益。
Sugar BI 客户案例集
2.1 基础 BI 分析流程
经过刚才使用场景的介绍,大家应该大概了解 Sugar BI 的基础 BI 分析流程。Sugar BI 的基础 BI 分析流程,详情如下:
首先需要用户连接数据源,根据业务需要来创建数据模型。
然后基于各类模板,通过拖拽编辑操作来制作报表和大屏。由于报表和大屏都是Sugar BI 中的原生模块,他们底层的数据模型和图表等等资源都是可以复用的,这可以大大降低可视化开发的工作量。
有报表和大屏后,可以继续应用于后续数据门户,公开分享等功能。
Sugar BI 基本 BI 分析流程
2.2 引入智能分析流程
在基础的 BI 流程上,Sugar BI 将智能分析的能力引入。智能分析主要分为 4 个能力,通过下方的流程图,我们可以先大致了解一下这四个能力在整体流程中的位置。
AI 问答和自动分析都是以数据模型为起点的,AI 问答和自动分析可以帮助用户省去很多事务性的操作,更高效的获取分析结果。比如通过 AI 问答,用户可以直接用自然语言对数据集进行提问,Sugar BI 会用图表的方式对这些问题进行回答,做您贴身的数据咨询师。
自动分析可以帮用户省去拖拽制作报表的流程,从数据集一键生成图表丰富,交互完善的报表。用户只需准备数据,Sugar BI 即可帮助生成报表。
异常分析和波动分析,可以让用户时刻了解数据异常点,及时管控业务风险。帮助用户对数据分析的更加彻底,更充分利用数据的价值。
Sugar BI 引入智能分析流程
2.3 引入智能分析流程
接下来,将会在本文中穿插智能化功能 Demo ,进一步对 Sugar BI 智能分析的能力进行讲解,帮助大家更直观的了解这些能力的原理和应用。
本文下方的 Demo 使用的数据集是电商订单数据集。示例数据集内置在 Sugar BI 的官方数据源里。
下面的功能讲解,将会按照右边这个图的顺序节奏进行。
Sugar BI 智能分析 demo
2.4 数据模型
2.4.1 数据模型概况
所有的智能分析能力都是基于 Sugar BI 的数据模型。所以,创建数据模型是智能分析的第一步。将数据库中的数据表建立为数据模型,可以帮助 Sugar BI 更好的分析和统计数据。
Sugar BI 只需通过简单的拖拽数据表,就能完成数据模型的建立。如下图所示,Sugar BI 的数据模型可以支持:
支持 25+ 种类型数据库。Sugar BI 支持的大部分关系型数据库都可以建立为数据模型。
零 SQL,抹平不同数据库之间的 SQL 方言差异。数据模型相当于抹平了各类数据库间的 SQL 差异,在后面用户制作图表的时候只需要拖拽字段,Sugar BI 就会自动生成查询语句。
支持多表 Join。很多情况下,根据业务需要,工作人员会经常进行多表的关联。Sugar BI 中数据表之间的关系支持各种 Join 形式,也支持跨源联邦查询,比如说可以将 MySQL 和 Oracle 两种不同类型的数据库中的数据表关联在一起。
支持跨源交叉分析。
支持自定义 SQL 视图。
自动将字段解析成维度、度量。
数据模型提供的相当于是一个包含数据结构信息的数据宽表。在后面分析流程中,不需要再关注数据源里面细节,直接针对宽表来进行分析就可以。
Sugar BI 数据模型
2.4.2 数据模型演示
那么接下来我们就来演示一下,咱们今天的电商数据集是怎么建立为数据模型。 https://b23.tv/ZT5CA2n(复制链接至浏览器,即可观看数据模型demo)
按照配置数据模型的视频操作,准备好我们的数据模型,接下来我们具体看下智能分析的各个能力。
2.5 AI 问答
使用固定报表展示数据,经常遇到问题,业务方或领导突然想看一个报表里面没有的数据,就需要找这个数据的同学来整一个新的图表出来。
虽然利用 Sugar BI 能力已经可以很快完成,但毕竟还需要额外人员投入,不能做到即问即答,AI 问答功能就是想要解决这样的问题。
Sugar BI 的 AI 问答基于百度 NLP 能力,可以作为决策者的贴身数据咨询师,对用户的问题即问即答。
用户在 PC 和移动端可以随时地通过自然语言进行输入。比如说一句话或者输入一段文字,就能快速地获得最新图表数据作为答案,让用户可以及时地查询到需要的数据,来掌握业务的发展情况。
Sugar BI AI 问答
2.5.1 功能演示
下面我们来演示一下 AI问答功能的配置和使用 https://b23.tv/SaU589n(复制链接至浏览器,即可观看AI问答demo)
2.5.2 功能的特点与优势
配置简单:使用 Sugar BI 的 AI 问答功能与后续配置,用户完全不需要具备机器学习知识。用户只需要打开一个配置开关按钮,就能得到一个数据集专用的问答机器人。
问法灵活:AI 问答的自然语言识别基于百度的 NLP 能力构建的,可以从各种各样问法中准确的分析出对数据的需求。比如刚才 Demo 演示的例子中对时间的聚合,以及对数据的排名和筛选等等。
呈现智能:在对数据的呈现方面,Sugar BI 的智能图表模块可以准确的识别数据的特点,根据数据特点和特征给为用户推荐最合适的图表来展示数据。
多场景支持:对于不同的人员和使用场景,都可以利用 AI 问答更高效的获取到数据结果。
AI 问答的特点和优势
2.5.3 技术架构
接下来为大家揭秘 Sugar BI AI 问答功能的技术架构。
首先是用户在前端页面上提出对数据的需求,需求可能来自多端的报表、大屏,还有探索页。需求提出的方式可能有语音、自然语言和字段拖拽的形式。针对语音,Sugar BI 会通过 ASR 转换为文字,然后进入上图中间的表格问答模型,最后将问题进行 NLP 转换成对数据的查询需求。
注:表格问答模型是上面 Demo 中,打开功能开关出现的“训练”按钮。训练的信息来自于 Sugar BI 的数据模型,数据模型会把数据宽表的 Schema 和同义词等配置进行抽象,然后进行模型训练和模型部署。
查询需求转换为图表配置,数据查询层会生成对应的 SQL 语句,送到用户的数据库里面进行数据查询。数据拉取回来后,Sugar BI 智能图表会根据拉取数据特征智能匹配图表类别。
最终会根据上述的流程产生可视化优化结果,完成从自然语言到最后数据图表的转换流程。
2.6 自动分析
AI 问答功能可以用图表来快速的回答“针对数据集”的特定问题。为了进一步解放用户双手,提高用户的可视化工作和数据分析的效率,Sugar BI 推出“自动分析”功能,解决从数据集快速得到数据报表的问题。
自动分析通过对数据集进行全场景的数据分析,可以快速的形成一个全面完整的数据报表。
2.6.1 功能概况
现在用户可以通过简单拖拽,这种零代码的方式去制作可视化报表。但如果用户需要全面展现数据集数据、可交互的报表,还是需要消耗一定的工作时间去制作。
Sugar BI 的自动分析可以省去用户后续制作报表的时间。用户只需准备好数据模型,只需要几秒钟就可以完成数据集的全面分析和报表的生成。
Sugar BI 的自动分析共分为两个入口:
第一种是对整个数据模型进行自动分析,从数据集直接生成报表。在数据模型列表页,每一个数据模型后面都会有一个自动分析按钮。
第二种是对报表中的某一个表格图表进一步分析。这个时候 Sugar BI 的自动分析功能会进一步分析图表里已有的字段。用户可以边看表格中的明细数据,边看分析生成的图表,从更多角度来理解图表中的数据。不仅如此,用户还可在报表编辑状态下,将自动分析生成的图表直接添加至报表中,不断补充报表内容信息。
Sugar BI 自动分析
2.6.2 功能演示
下面我们来演示一下自动分析功能的配置和使用 https://b23.tv/zkViwrz(复制链接至浏览器,即可观看自动分析demo)
2.6.3 功能特点与优势
Sugar BI 的自动分析特点包括识别准确,图表丰富,可交互和可编辑四点,详情可见下图。
自动分析的特点和优势
2.6.4 技术架构
下面,我们来看一下自动分析的实现逻辑:
自动分析的实现逻辑,本质是对数据模型的一个字段子集来进行分析。Sugar BI拿到这些要分析的字段后会开始进行分析信息的收集,包括字段在数据模型中的各种配置,以及各字段的详细数据。
注:对于表格分析来说,表格会根据报表所设置的用户权限进行权限和数据的过滤,防止发生越权。
在前期完成信息收集后,收集的信息会进入到 Sugar BI 的自动分析模型中。模型根据 Sugar BI 里面已有大量报表数据训练生成。
模型会根据输入信息给出两种输出,一个是过滤条件字段排名,还有一个是图表要展式字段组合排名。Sugar BI会选择排名靠前的推荐来生成最终过滤条件和图表
从字段组合到图表的过程,利用智能图表来做自动图表类型推荐。在图表和过滤条件的配置生成之后,将它们相互关联起来,让用户可以灵活地进行下钻和过滤等交互操作。
最后 Sugar BI 会对过滤条件和图表进行自动排版,生成最终报表。完成自动分析整个流程。
自动分析的技术架构
2.7 异常分析
除了自动分析和 AI 问答,Sugar BI 的智能分析能力,还可以帮助用户对数据进行更深度,更全面的分析。
下图右侧的数据页面是在 Demo 的自动分析过程中生成的。我们聚焦在数据页面的折线图上,许多业务和数据分析人员在日常工作中最为关注图表里的时序数据,通过关注时序数据的异常点,分析引起数据异常的因素,从而去进一步优化业务。
针对上述的需求与问题,Sugar BI 推出了异常分析和波动分析功能。下面将为大家介绍异常分析。
2.7.1 功能概况
Sugar BI 的异常分析功能可以帮助用户快速、准确地发现数据中的异常点,让用户可以及时做出应对,管控业务中的风险。
不仅如此,用户还可以在 Sugar BI 里设置异常规则,Sugar BI 可以通过邮件和微信等形式给用户发送异常通知,让用户第一时间感知到数据异常的发生,了解数据的最新情况和业务进展。
根据具体业务场景,用户可以对不同的图表配置各自的异常监控规则,或者同一个图表中的不同维度和指标也可以配置不同的监控规则。让用户可以从各种角度对业务数据进行异常监控。
Sugar BI 异常分析
2.7.2 功能演示
下面我们通过 Demo 来直观的了解下异常分析功能的效果 https://b23.tv/izQxgu8(复制链接至浏览器,即可观看异常分析demo)
2.7.3 功能特点与优势
数据类型:不限数据类型,支持时序和非时序数据。对非时序的数据可以做简单异常识别,比如和固定的阈值做对比。
配置灵活:支持丰富的异常指标和规则配置,通过规则之间的组合,可以满足各种复杂的异常分析业务场景。
支持多种图表:除了上面视频演示报表和大屏,Sugar BI 绝大多数常用图表皆支持异常分析。比如柱图、饼图还有指标卡片之类图表都可以配置。
支持预警:Sugar BI 的异常分析功能与数据预警打通,用户可以对不同的图表或同一个图表中维度和指标,配置各自的异常监控规则。
异常分析的特点和优势
2.8 波动分析
在用户发现数据的异常后,基于后续优化业务的考虑,希望了解出现数据异常的原因。这时 Sugar BI 的波动分析功能就可以派上用场了。
在没有波动分析功能前,这样的分析工作会涉及到复杂的数据查找和对比工作,耗时耗力。现在通过波动分析功能,用户只需在图表中选择要分析波动的数据点,就会自动地完成全部分析工作。
2.8.1 功能概况
波动分析可以帮助用户找到造成数据波动的因素,分析异常点的成因,再进一步分析哪些因素对波动造成的影响更大,做业务决策的专业指导助理。
波动分析的数据点可以是时序数据中的任意点,不局限于之前异常分析识别出来异常点。
如果您想分析哪个数据点,可以直接点击该数据点触发波动分析。再分析完成后,Sugar BI 会为用户呈现下图所示的波动结果报告。
波动分析结果报告分为三个部分:包括整体变化情况,以及各维度和各度量对波动影响的排名。
Sugar BI 波动分析
2.8.2 功能演示
下面我们通过 Demo 来直观的了解下波动分析功能的效果。 https://b23.tv/BxM2x4K(复制链接至浏览器,即可观看波动分析demo)
2.8.3 功能特点与优势
自动拆解:波动分析根据各维度的权重,帮助用户高效找到影响数据波动的因素。
多角度分析:支持多种对比方式和规则,在特定场景下用户可能不清楚具体影响的因素不知道影响因素,这时可以使用 Sugar BI 进行自动拆解。
自动帮用户在所有数据维度中寻找潜在影响因素,给予用户更多参考角度。
打通分析流程:Sugar BI 将波动分析与异常分析打通,用户可以直接对异常点进行波动分析。
波动分析的特点和优势
2.8.4 技术架构
波动分析基于时序数据的。目前支持波动分析的图表有折线图、柱状图、瀑布图。
对于要分析的图表,首先要获得的是用户配置规则,包括要分析哪一个度量的波动。比如在一个折线图里面可能会有多条折线。对于图表内的每条折线,用户想要配置拆解和对比的方式可能都大不相同。在获得用户配置规则后,根据分析的方向,Sugar BI 会继续地选择要拆解哪些维度以及要拆解哪些度量。
Sugar BI 支持用户灵活对比数据点。不仅支持和前一项数据进行对比,还可以进行各种时间粒度的同环比对比,如选择年同比(即和去年同期的数据做对比),最后帮助用户分析波动因素。那如果这个图表已经配置了异常分析,这里的部分配置是可以直接复用异常分析的,因为像如何对比数据,对比哪些指标这些信息,在异常分析中已经配置过了。
并且,波动分析可以直接复用异常分析的配置。如果您已经在异常分析中将对比数据、指标等信息配置完成,此时可直接复用。
Sugar BI 在获取用户配置规则后,会根据这些配置规则进行数据拉取和计算(包括将维度和度量按要求拆解),之后将分别进行数据的拉取,计算和对比。最后再将计算结果总结为用户看到的波动分析报告。
波动分析的技术架构
针对已有业务数据流,Sugar BI 不断拓展 BI 能力,并深入智能化领域。通过开发众多智能化功能、缩短用户数据分析的时间,提升分析效率,如:
解决事务性问题,如 AI 问答可以让用户询问问题,就能快速得到图表形式的答案,无需再次人工检索图表内容;自动分析可以让用户从数据集直接得到报表,省时省力。
数据分析更彻底:比如异常分析和波动分析可以让用户更加充分分析已有数据,进而得到有意义的分析结果。
通过 BI+ 智能分析这样的组合,Sugar BI 帮助用户解决,业务上现在正在发生什么事,以及为什么会发生这样的事。用户可以根据这些分析结果,科学进行业务决策。
那么对于未来,还未产生的数据,Sugar BI 将进一步充分发挥这部分数据流的价值。
针对未来——预测数据流。基于已有数据,利用机器学习能力,帮助用户预测一部分未来即将产生的数据,进一步帮助用户了解未来可能发生什么。让用户用离未来更近数据做更加准确决策。为此,Sugar BI 即将推出的功能叫 Sugar DI(decision intelligence 的缩写)决策智能。
开箱即用:虽然 DI 的底层技术使用的是机器学习,但不具备 AI 知识背景的数据分析人员也可以流程使用DI功能,Sugar DI 完全可以做到新手开箱即用。
算法多元:内置 10 种以上的算法,并且做到智能的匹配业务数据,用户完全不需要了解这个每种算法的细节,可以直接使用。当然是专业用户,Sugar DI 支持各种超参的配置,让用户进行个性化的配置。
无缝集成:使用流程上 DI 将会与现有 Sugar BI 现有的 BI 功能进行深度的融合,从数据的预测到数据的分析,整个流程可以做到无缝衔接。
整个数据分析和数据预测的流程,如下图右侧所示:
首先已有的用户画像会送入到 Sugar DI 的训练模块中,DI 会自动地匹配 ML 算法来进行预测模型的训练。
当 BI 中有需要预测用户行为数据时,预测模型就会针对这些数据生成预测好的用户画像。
预测好的用户画像就会继续地流回BI模块中,用户可以直接对这些数据进行数据分析、可视化。
自我进化:预测模型会根据数据流进行自动地迭代,来保证每次产生的预测结果都是基于最新的预测模型的,让用户的每一次决策都变得更加的准确。
通过 DI 功能,可以更有效地发挥数据在业务中的决策支持价值。也欢迎大家持续关注我们的产品动态,及时获取最新的功能。
本次线上分享回看链接:https://appukvkryx45804.pc.xiaoe-tech.com/detail/l_632a73cae4b050af23b9c7a4/4?fromH5=true
- - - - - - - - - - END - - - - - - - - - -
更多精彩内容,请关注微信公众号“百度智能云技术站”