轻松应对海量数据下发，三一华兴数字化升级改造背后的「秘密」

本文作者
上海华兴数字科技有限公司

架构师：傅义平

平台研发：彭海涛

客户介绍

三一重工股份有限公司（以下简称三一重工）是全球装备制造业领先企业之一，由三一集团投资创建于 1994 年。上海华兴数字科技有限公司（以下简称华兴科技）成立于 2011 年，是三一重工旗下全资子公司，专注于装备机械电控系统和工业物联网的研发、制造、销售与服务， 产品和解决方案应用于 20 多万台设备，遍布 140 多个国家，是全球领先的工业 4.0 嵌入式解决方案提供商。

项目背景

近年来，受市场需求多变、人力成本不断增加等多重因素影响，传统制造企业正在面临着前所未有的转型升级压力。随着云计算、大数据技术的不断成熟，人们开始意识到，以「智能制造」为核心的新工业革命将成为推动传统制造企业发展的重要生产力。物联网则正是实现「智能制造」的核心所在。

在全球经济跌宕起伏、工程机械行业深刻调整的市场背景下，三一挖掘机依然取得了令行业瞩目的优秀业绩，成为行业内唯一销量过万台的企业。这样的佳绩背后，华兴科技功不可没。

华兴科技承担着三一重工所有挖机、桩机等设备控制器和显示屏的生产、设计、数据采集以及下发工作，帮助三一重工在互联网环境中实现工程概况、远程控制、故障诊断、定位跟踪、报警统计等可视化管控，完成智能化转变。

这一切的实现离不开华兴科技与 EMQ 的携手合作， 面对海量数据的上传下发，面对「高效、安全、准确」的数据收集和送达需求，华兴科技和 EMQ 是如何联手应对解决的呢？

结缘 EMQ X

华兴科技面临的首要问题是设备之间的数据互通效率及不同业务间的深度整合。而技术团队也从物联网数据平台搭建着手，寻找数据接入平台与已有数据推送服务的结合， 力求搭建一个可以快速将客户的工况信息推送到指定大数据计算程序和 AI 模型训练程序，并在海量手机 APP 端实现实时可视化的物联网数据平台。

在去年的数字矿山项目中，为了实现卡车与挖机之间的智能调度，华兴科技尝试引入了 EMQ 开源版物联网消息中间件 EMQ X Broker，通过 WebHook 插件的方式实现了与现有业务的深度集成。在此过程中，EMQ X Broker 的易用性、扩展性与稳定性得到了华兴数字科技互联网研究所的认可。

数据上行架构图

那么，面对日益增长的上行数据量，如何对已有下发服务进行优化呢？ 由于 EMQ X 在数据上行方案中的卓越表现，华兴科技仍然考虑选择 EMQ X 物联网中间件作为构建物联网数据中台的重要组成部分。

对于不断拓展的业务需求来说，采用 EMQ X 开源版所搭建的数据平台只能实现单向的指令与采集，有着一定局限性。而更完备的数据下发流程势必成为发展过程中的下一个关键需求。通过对当前业务情况和方案架构的审视，华兴科技技术团队总结出以下亟需解决的问题：

南向数据量的增长带来北向数据下发压力的增大
业务深度集成方式效率有待提高
告警控制与流控处理设计难度大

深度合作

华兴科技于是着眼改进，向 EMQ 团队寻求专业支持。通过多次详细的现场沟通后，最终决定引入 EMQ X Enterprise 企业级物联网消息中间件，构建功能更加完备的物联网数据平台。

数据下行架构图

EMQ X 企业版不仅为华兴科技提供了软件层面的调优与更多数据量的接入，更通过自身独特的功能—— 规则引擎，帮助技术团队进一步实现了相比于开源版更加强大的功能：

数据未送达时直接存储入库 Cassandra
加入 Buffer 参数设置，通过规则引擎中 SQL 配置告警提醒控制数据下发速率
通过规则引擎中 SQL 配置，将设备上下线、丢包等一系列事件触发消息完整传递
通过不同 Zone 区域，实现内外网不同方式的认证
多语言私有 TCP 插件开发

截至目前，EMQ X 企业版的引入为华兴科技解决了大数据量下发中可能存在的消息质量差、消息时延高、消费不及时等问题。经过技术团队缜密压测上线，实现设备到设备、设备到后端消息互通的多种应用场景，同时合理设计与管理多租户的权限，保证了上传与下发服务的并发与实时性：

实时工况推送模块

App 上订阅具体设备的具体工况信息，且在有更新时实时推送。历史信息无需保存；

大客户工况数据推送模块

第三方订阅三一设备，根据客户设备的权属信息，将相关设备的工况信息推送到客户端，并且进行实时进行条数统计、流量计费等。历史信息需要保存；

运维管理

群组、注册管理，订阅和发布权限管理，设备在线、离线管理等，实现消息类推送，如告警息从 server 服务端到设备端的点对点消息推送等。

未来展望

在下一期的改造中，华兴科技将整合上下行数据，将整体的数据通道依托于 EMQ X，实现更加统一与完善的数据采集与推送服务，从而加快数字化转型创新步伐。

数据上下行整合架构图

作为一家传统制造企业，三一重工正在努力抓住科技快速发展的新机遇，华兴科技作为其核心子公司，也将与其共同迎接挑战。 EMQ 将以不断完善的产品和服务全力配合与支持华兴科技，实现制造、服务和生产所有环节数字化，为业务增长赋予新动能，为国内乃至世界机械制造商树立行业数字化转型升级的新标杆。

版权声明：本文为 EMQ 原创，转载请注明出处。
原文链接：https://www.emqx.cn/blog/emq-and-rising-solution