“数字新基建指南”
数字经济时代下,越来越多的行业和企业将数据视为核心资源、资产和财富,争先制定数字化转型战略,抢占数字经济的制高点。如何推动数字化转型,建设数字新基建,已成为行业十分关注的话题。
袋鼠云成立六年来,服务超3000家行业标杆客户,在数字行业领域有丰富的前期规划、中期落地及后续持续经营的经验和能力。希望通过“数字新基建指南”专栏文章的分享,为读者们献上系列行业解决方案与实践案例分析,与读者交流沟通,共同加快推进数字化转型。
本专栏每周更新1篇,敬请期待~
作者|杜康
编辑|昀岫、槿书
本文4783字 约15分钟阅读
企业推进数字化转型中,供应链数据管理是其中重要的课题之一,已被大部分品牌、生产制造企业所重视并列为战略优先发展领域。企业随着业务的快速增长,会给后端供应链造成极大的压力,构建稳健的数字化运营管理体系、数据中台保障业务的快速发展成为企业首选。企业通过完成供应链板块的全面数据化,解决从供应端到门店的数据拉通,实现业务流程标准化、指标体系规范化、全域数据可视化,把数据应用落在业务运营的细节中,辅助决策层、管理层、执行层做到数据分析和数据决策,发现降本增效的机会,发现业务流程优化突破点,实现供应链的提升。
传统的竞争策略主要围绕如何将产品“推销”给消费者。所以竞争策略强调 “经营为王”(质量、性价比)和“渠道为王”(占有率),这样才能覆盖并吸引更多的消费者以实现销售。
新经济下,消费者在消费过程中的搜索阻力(如信息不对称)和购物阻力(如门店数量)急剧下降,消费场景也丰富化,因此竞争策略要强调“用户为王”,比如用户基数、粘性、流量、互动和体验等,这样才能把握并转化消费者,提高销售。消费的诉求变得更加多样与苛刻,由此,后端的响应能力与消费者的服务能力,变得尤为关键重要。
在疫情影响下,各行各业受到了对应的冲击,然而数字化经济蓬勃发展,新群体、新渠道、新的产品不断涌现不断拉动内需,增强市场消费。从国内情况来看,有以下特征:
·全球疫情、经济下行、人口减少
1)2020年全球疫情蔓延,对于整个行业产生了巨大冲击,航空公司维珍航空、新西兰汉堡王、JC Penny宣布破产;乐购TESCO、Old Navy、Superdry退出中国市场。
2)人口老龄化与人口减少困扰全球经济。
·货品需求多、库存压力大、毛利低
1)疫情影响,人均消费能力下降,购买力削弱,对于商品购买回归理性与观望态度,注重产品安全、价格。
2)产品需求差异,在产品服务、性价比、品牌需求各不相同。
·新场景、新渠道、新品牌
以罗永浩、薇娅、李佳琦为主的直播带货主播,在抖音、快手上实现高速的销售额增长。巨头企业(李宁、飞鹤、如新)等行业巨头企业试水直播、拼团,新渠道、新电商快速崛起。花西子、完美日记、百雀羚等品牌借助新渠道迅猛增长。
02
企业在数字供应链的过程中,一方面会以实现几个业务目标为主,常见以整条供应链各环节各部门横向纵向数据拉通、订单库存实时化、仓储作业自动化数据化、全链路可追溯、物流链路可优化、数据海量高效分析为主;另一方面会考虑到实际的业务背景,2020年的疫情使得企业经营的外部环境发生了方方面面的变化。
随着人口减少、老龄化、新一代00后消费能力的提升,理解消费者、拥抱消费者变得尤为重要,消费者分层、差异化营销、私域流量运营成为企业化数字转型的关键。
大部分消费者回归理性,产品多元化满足市场需求,市场上新退市速度、迭代周期快。消费者期望得到高响应性和定制化、安全的产品与服务。
渠道多元化、消费者营销触媒碎片化,消费者行为轨迹变得更加难以搜集;快速在新渠道中做出成绩、为新渠道数字化赋能变得尤为关键;随着生产、物流数字化,用户服务水平得到极大提升。
短期、中期、长期缺乏数据指导;原材料品种繁多,大龄与呆滞库存需要花大量时间处理与跟踪;供应商资质、产能、库存信息无法纵向拉通;采购品类缺乏分析,安全库存执行和合理性无法跟随市场变化,市场反应滞后。前端销售预测同步滞后,准确性不佳;需求计划看不到经销商、门店库存信息,没法提前了解补货梳理及节奏;执行中长期供应计划,无法实现后端产能最合理调配,仓库之间货龄平衡、产品退市系统承载不全面。
短期原材料采购损耗处理、部门协同、供应商筛选缺少数据支撑;质量检测环节缺少信息提醒、人工检测原材料质量耗时、易犯错,库存大龄缺乏检验提醒;关键工序人工耗时、生产过程类型数据分散、缺乏多工厂横向分析;产成品放行时间缺乏分析、检测环节缺少数据提醒;数据问题工厂间物料共享、库存信息同步差。
调拨计划缺乏数据支撑;过单趋势经验判断、排单需要通过多历史报表分析繁琐;物流成本缺乏多维分析,物流时间损耗需要数据精细化管理;各个仓库周转率、运营情况、仓库容量无法视角一致。系统无法根据客户客户优先级来进行订单交付分配管理;缺乏对到货周期长的客户自动分析,订单满足率缺乏多维度分析。
针对行业的现状与趋势,品牌企业推动企业供应链数字化,需要针对自身能力和所处发展阶段量身定制数字化转型路径,确定相应的目标、战略、流程、组织及人才、结合数据资源情况以及企业自身的技术情况。品牌企业的IT战略需保持与业务和供应链战略的一致性,服务于企业的全渠道和服务响应能力,实现“连接消费者”和“掌握数据资源”、“挖掘数据价值”。
首先,品牌企业需搭建适应全渠道基础的企业架构,其中涉及到用户、交易、订单、仓储、物流、经销商、门店等前中后系统架构。
其次,需具备系统整合能力。与上下游伙伴、集团中分子公司的系统集成能力是品牌企业必须具备的竞争能力。企业需思考如何建立数据共享机制,通过建立互信实时共享数据,信息的透明和可预见性会使企业的运营更加顺畅稳定。因此,数据将促进企业与合作伙伴间、企业分子公司之间更深层次的数据协作。
第三,企业还需建立完善的数据治理结构以满足内部控制、财务管理以及安全性的要求。全渠道零售中,订单入口多样化,渠道库存共享化,交易路径复杂化,需要企业能够建立跨系统的数据调和能力,对系统内/间的数据差异或差错进行实施监控并解决。
第四,企业应更强调数据能力的快速迭代和数据服务响应能力。
最后,需构建数据分析能力以及基于数据科学决策的治理机制,保障数据价值与迭代。
通过数栈DTinsight,进行统一存储、统一开发、管理数据安全,提升开发效率。
RDBMS(MySQL、SQL Server、Oracle)数据源通过直连方式进行数据采集。非结构化和半结构化存储的图片通过离线文件方式进行采集。用户行为日志通过Flume+Kafka形式进行实时采集。基于袋鼠云自研的FlinkX流批一体进行离线及实时数据采集。离线采集通过直连异构数据库 (备库)来抽取各种时间窗口的数据。实时采集有以下两种采集方式:一种方式通过读取数据库中的日志文件,进行变更采集。比如MySQL Binlog文件,Oracle通过Logminer解析Log文件进行读取Insert、Update、Delete等操作变更数据。另外一种方式间隔轮询是通过JDBC发起查询请求,通过短间隔的查询数据的方式来达到一个近似实时采集的功能。
数据只有被整合和计算,才能被用于洞察供应链规律,挖掘潜在采购、物流、仓储信息, 从而实现供应链数据价值,达到赋能于企业整个供应链的大后端。从采集系统中收集到的大量原始数据,将进入数据计算层中被进一步整合与计算。平台除了对了自身引擎EMR外,同时支持对接各大主流大数据引擎,常见的CDH、TDH、LibrA、Hadoop都可以进行无缝对接。
面对海量的数据和复杂的计算,数栈DTinsight的数据计算包括三大模块:离线计算平台Batchworks和实时计算平台StreamWorks以及算法开发AIWorks。离线计算平台中采用Spark,MR作为计算引擎,使用HDFS作为数据存储,HIVE作为数仓系统。实时计算平台采用Apache Flink作为计算引擎。AIWorks采用HDFS数据存储,兼容多种机器学习与深度学习框架,可快速完成算法建模到模型应用的全生命周期开发工作,构建一站式可视化机器学习平台。基于此平台,可对数据智能化应用场景提供有效支持,如个性化推荐、销量预测、智能组货、文本分析、图像识别等。
通过对于数据安全、权限、数据资产以及元数据管理,实现业务数据的标准化和资产化,打造企业级数据中心。用户可一站式查询企业各类数据的信息,实时感知数据的变化。通过搭建数据关系网络、统计数据使用情况,帮助用户发现并挖掘数据价值。同时在资产层面对过程数据和结果数据进行质量校验,过滤数据噪音,通过事前、事中、事后的流程化管理,全面保障数据资产质量。
当数据已被整合和计算好之后,需要提供给产品和应用进行数据消费。为了有更好的性能和体验,数栈DTinsight构建了自己的数据服务层API平台,通过接口服务化方式对外提供数据服务。针对不同的需求,数据服务层的数据源架构在多种数据库之上,如传统RDBMS,HBase,Impala,ES,Kylin等。数据服务可以使应用对底层数据存储透明,将海量数据方便高效地开放给集团内部各应用使用。
基于平台与产品,通过海量结构化、非结构化实时离线数据集成、统一数据加工计算、数据资产的沉淀可在企业供应链做全链路可追溯、全仓一盘货、订单库存实时化、数据海量高效分析为主。
ERP作为企业信息的枢纽,在供应链环节中作用举足轻重,在大型企业中,ERP系统有按照集团统一部署,或有分布式进行部署,ERP系统中涉及采购、生产、物流、仓储、渠道、财务的信息,往往是采集其他例如PLM、MES、WMS、TMS的系统中的数据,这些系统中数据量大,数据实时性存在延时,作为ERP往往按需所取。
企业往往出现以下几种数据问题:非结构化数据无法全量存储分析、ERP所集成的数据实时效率不高、传统数据平台无法支撑海量数据实时分析,分布式的数据统一集成存储数据质量不高、WMS、TMS、MES等数据无法全域接入高效定位问题以及出现“业财分离”等状况。
通过数据中台按照规范可以集成全量数据,通过清洗、加工,形成一方数据资产,解决计算存储查询瓶颈、提升数据质量,数据资产清晰构建,为企业经营与管理快速提供实时作战看板:袋鼠云自研的流批一体化的数据采集工具FlinkX,采集相关供应链相关系统中的日志数据、实时库存数据以及交易订单数据,同时在Kafka中构建对应的Trade/User/Log Topic,Kafka中的数据通过被Flink进行消费计算,可以方便快捷的在大屏、BI中呈现,过程中全链路的Chain与算子监控,保障数据安全放心的被使用。
销售预测对计划、排产、供应以及渠道管理都有着重要的指导作用,数据中台构建更精细、实时和准确的预测模型,全局考虑各种外部因素,甚至一些隐性的因素,发现其中的相关性(而不是因果性),对不同时间段、地区、渠道、产品线的市场需求做出预测,从而帮助管理决策人员有效调配资源、调整生产供应计划以及市场策略。
在供应链数据通过数栈DTinsight统一的汇聚、加工处理,海量数据的高效分析,能够实现企业经营全仓一盘货,及时拉通整条供应链,洞察供应链横向与纵向的健康状况,消费者快速查询产品相关信息,使用产品健康放心,提升消费者品牌信心。同时通过数据的高效开发与高效API分发,可实现0代码应对相关政策监管与数据报送,减少相关开发。
通过物理防伪与信息防伪相结合进行打假,增强消费者的质量信心,树立品牌形象,同时消费者可以便捷操作,随时通过手机扫码查看到产品的成分、生产厂家、有效日期、经销商真伪、会员积分管理等。
在满足监管部门的诉求方面上,相关监督部门可随时督查生产、加工、流通、销售各环节,同时企业通过数据便捷的API服务,统一与相关监管部门进行高效对接,树立典范,形成行业拉动力,协助监管部门提升行业公信力。
通过营销过程中提高物流作业效率,追踪每一件产品的流向,透明化管理产品流通过程,遇到商品窜货及时报警,防窜货,仓库智能终端的应用,实现仓库精细化管理。
在拉通整条供应链数据的过程中,保障数据安全又便捷的被消费非常重要,借助数栈DTinsight,帮助不同的业务部门之间方便地分享数据。
数据地图清晰地呈现现有的数据资产目录,每一项数据资产有对应的Owner,和管理维护的属性。数据涉及到商业机密或者个人隐私,在分享使用的时候做脱敏处理,自动隐藏字段中的敏感信息(例如电话号码、身份证号码等)。
数据中台的建设,大大降低了开发运维的门槛,数据的开发效率提升,业务能够快速通过数据进行决策分析,进而对业务进行拓展。在供应链数据中台建设过程中,采购、生产、质量、物流、仓储、渠道的共同参与,可提升各部门的数据认知,一方面通过优化供应链各部门协同机制,以及拉通各部门数据视角,另一方面由于在数据中台的建设过程中,发现业务系统中存在的问题,由之反向推动系统改造及相关业务变革。