伴随着社会发展,企业信息化程度越来越高。一个典型的制造型企业核心通用信息化系统可能就包括办公自动化系统(OA)、客户关系管理系统(CRM)、条形码系统(BCS)、供应链管理系统(SCM)、产品数据管理系统(PDM)、产品生命周期管理系统(PLM)、制造执行管理系统(MES)、高级计划排程系统(APS)、企业资源计划系统(ERP)以及人力资源管理系统(HRM)等等。
每一天,这些系统都会产生大量的数据。越来越多的企业都想利用这部分数据进行分析从而获得重要信息,以此拓宽和巩固自己的经济业务和发展疆域。由此,数据分析平台就显得极其重要,可以说,一个企业如果打造出了一个优秀的数据分析平台,那么它离成功就比同行更近一步。
能做数据分析的工具就能称作“数据分析平台”吗?当然不是。一般来讲,数据分析平台最底层的是各种各样的数据源;然后从这些数据源采集各种符合企业需求的数据,经过验证、清洗并转化为所需格式后,储存到一个合适的持久化储存层中;下一阶段是数据分析模型搭建;最后是可视化和展示各个不同分析算法处理过的结果。
一个数据分析平台涉及到的组件众多,如何将其有机地结合起来,完成海量数据的分析挖掘是一项复杂的工作。我们以亿信ABI为例,来看一下数据分析平台架构是什么样的:
△亿信ABI架构图
支撑软件:主要包括中间件、数据库和操作系统。
数据整合:平台支持对接入的数据库数据、文本数据、接口数据等进行可视化的数据抽取、数据清洗、数据转换、数据调度、运行监控等。
数据建模:平台提供不同方式的主题表创建方式,并设置主题之间的关联关系。
分析展现:提供各种图表的设计展现,如:固定报表、DashBoard、酷屏、敏捷看板等,并支持系统管理辅助功能等。
系统管理:系统管理基础平台贯穿整个系统,主要包括用户权限、工作流、公告、备份恢复、资源管理器、日志、计划任务、系统信息、java 控制台等。
客户端:支持 PC 端、手机、Pad;支持各种浏览器,如 IE、Chrome 等。
第三方应用:提供丰富的第三方开发接口用于实现项目实施过程中的各种集成需求,包括移动端接口,微信接口等。
集成了上述核心功能的亿信ABI数据分析平台,一方面可以有效支持技术开发者开展算法研究、模型设计、系统优化等探索性研发工作,并快速将研发成果集成到平台中,不断提升平台的技术先进性;另一方面可以有效支持企业级大数据应用系统的运营,以及第三方应用开发与扩展,促进行业应用解决方案不断成熟与完善。
从一个最简单的例子来说,某销售公司大区总监,掌管着华北5省300多家直营店和加盟店,在准备一季度的业绩汇报时,经过粗略估算,发现本季度很有可能业绩不达标。那么第一件事,就是要看数据,业绩状况到底是什么情况?
是否真的没达标?
哪些门店拖了后腿?
不达标的门店,近期销售情况如何?
所有一切都要用数据说话。如果真的不达标,接下来,还需要做以下三项分析工作:
原因分析:通过数据分析找一下不达标门店,分析其不达标原因;
预测分析:预测一下销售走势,预计业绩有多大缺口;
评估分析:评估一下过往的措施哪个好用,然后安排下一步举措。
但是,由于一些历史原因,不同省份的门店用的是不同的销售系统,而且像人力资源、财务、OA的业务系统数据并未打通。在实际工作中,做数据分析80%的时间都被耗在清理数据、更新报表、做描述性统计上。这位大区总监,想要通过数据分析来得到以上结果,恐怕得费点功夫。
如果,这家公司建设了一个统一的数据分析平台,那结果就完全不一样了。数据分析平台能够支持把所有的业务数据进行整合,然后将这部分庞大的数据经过可视化ETL建模进行快速整合,再利用平台分析引擎拖拖拽拽完成各种形式的数据分析工作,堪称完美。
综上,一个优秀的数据分析平台不仅能够打破各业务系统数据壁垒,而且通过一定的数据处理手段,实现最终的数据分析与挖掘,助力高效决策,真正发挥企业数据价值。
常规情况下,要进行数据分析,会用到多个工具。一般先需要数仓工具进行数据整合处理,如果有数据缺失还会需要数据采集工具进行填报补录数据,最后通过BI工具进行数据分析等等。而亿信ABI这一款产品可完成从数据源接入,到数据采集、数据处理,再到数据分析和挖掘的一系列工作。
数据源接入
不管是日常使用的Excel、TXT、CSV、DB等文件,还是企业的亿万级别的海量数据库,亿信ABI都能给你照单全收了。不管是传统的关系型数据库,还是流行的大数据平台,亿信ABI都可以直接连接取数分析。
此外,亿信ABI也支持华为GaussDB、达梦等国产数据库的。同时还支持接口数据源接入,通过访问第三方已经定义好的接口,获取其返回的数据,并将其转化成规整的数据格式。
数据整合
将企业数据接入亿信ABI平台后,大多时候都需要对不规整的数据,进行清洗、脱敏、转换等一列操作。亿信ABI中的数据整合模块相当于一整套数仓实施工具,通过拖拽式的流程设计,实现了数据抽取、清洗、转换、装载及调度,且整个过程都是透明可见,以更直观、更简洁的方式呈现各数据仓库建设各环节情况。
数据集市
数据经过数据源接入和数据整合后,就进入到了数据集市。从范围上来说,数据集市就是企业级数据仓库的一个子集,它主要面向部门级业务,并且只面向某个特定的主题。为了解决灵活性和性能之间的矛盾。亿信ABI中的数据集市存储为特定用户预先计算好的数据,从而满足用户对性能的需求。
数据回填
亿信ABI支持对分析表进行数据回填设置,对缺失的数据进行补录,也可以制作全新的填报表单用于录入数据,实现数据分析填报一体化。填报表支持导入Excel数据,同时支持数据审核,确保数据正确性,还能做到填报与工作流结合使用,实现数据填报后的数据审批。
数据分析
来到数据价值体现的关键一环——数据分析。亿信ABI可以说是覆盖数据分析所有场景,无论是报表、敏捷看板、领导驾驶舱、大屏还是Word报告、PPT报告、移动报表,亿信ABI都能满足。
同时亿信ABI还支持动态炫酷的酷屏分析,独特的3D全景视角,自由快捷制作各类交互式常规屏和大屏报表,将你的创意变成触手可及的现实。
应用发布
门户工具是BI展示的"最后一公里",是实现个性化、分业务群BI展现的重要手段,为用户关心的内容提供快速访问的通道。很多BI工具内含的门户工具技术性很强,需要相当的编码和技术设计能力,用户学习掌握非常困难。
亿信ABI内含便捷的门户定义工具,内置了各种门户模板,且只需通过简单的拖拉控件到定义门户区域,可将我们制作好的报表,通过链接的方式,即可挂载在门户上,自己就能上手,无需美工和开发介入。
这样,一个数据分析的全部流程,亿信ABI就统统搞定了。
小结:该套基于亿信ABI的数据分析平台建设方案,已成功应用于近百个细分行业,为数千家政企单位提供数据分析服务。在生产制造行业,管理者可通过鼠标点击就能够轻松地掌握生产管理的基础数据查询和生产综合分析,如生产车间分析、生产成本分析、生产产品分析、生产驾驶舱等;在电力行业,决策者通过指挥室可视化大屏,即可全面感知电网运营状况,对发电量、能耗量、检修量等关键指标了然于胸;在金融行业,营销人员可自由拖拽,快速形成用户画像、经营分析等数据分析报告,精准营销,尽在掌握……