国网江苏信通公司:基于鲲鹏DevKit高效开发实时量测中心运营管理平台,数据采集和分析更高效

随着智能电网信息化建设的不断推进,电力行业积累了海量数据,对电力数据进行深入的采集、处理和分析,不仅能够实现电网的实时监控,结合大数据分析与电力系统模型,还可以对电网运行进行诊断、优化和预测,为电网安全、可靠、经济、高效地运行提供保障。

国网江苏省电力有限公司是国家电网有限公司系统规模最大的省级电网公司之一,服务全省4000多万电力客户,也是年户均停电时间最少的省份之一。其直属子单位国网江苏信通公司通过运用云计算、大数据、人工智能等技术加快电力系统信息化、智能化建设,其中企业级实时量测中心建设是牵引新型电力系统数字化转型的关键,通过将电网各环节电类、非电类、碳类采集量测数据与设备标识、位置、环境、用户档案等信息精准融合,以更加丰富详实、生动形象的形式展现发-输-变-配-用电网全过程实时状态。生产管控人员则通过实时量测中心数据服务接口实现电网设备异常可视化分析,研判电网运行趋势,精准掌握设备问题、管控作业风险,有效支撑省、地两级调度电力电量平衡管理及现场检修辅助安全管理工作。

国网江苏信通公司:基于鲲鹏DevKit高效开发实时量测中心运营管理平台,数据采集和分析更高效_第1张图片

随着智能电网的发展,电源结构、负荷特性、电网形态等日益复杂,对计量全息感知、动态采集和高效处理的要求越来越高。同时,电力市场化用户数量的增加对用户负荷的可观、可测、可控提出了更高要求,也给量测采集的业务承载力和作业效率带来新挑战:

1. 大体量

电力系统应用逐年增多,智能电能表、传感器、信息系统等持续生产海量数据,4600万用电用户的终端量测数据量可达100TB

2. 时效性强

随着电力可靠供电需求的逐步提升,对数据采、传、存、用提出更高时效性要求,要求在从分钟级提高到秒级甚至毫秒级内完成全环节海量数据的实时汇聚和高效处理

3. 高可用

实时量测中心运营管理平台汇聚电网全环节量测数据,为保证数据的高质量流通,需要底层平台具备更高的性能,以满足平台的整体运转效率

鲲鹏平台天生的多核多并行能力,能够很好的满足企业级实时量测中心运营管理平台大体量、低时延及高可用等要求,同时还提供完善的鲲鹏DevKit开发套件以及专业服务,能够帮助用户快速完成应用的迁移、开发、编译和调优。基于此,国网江苏信通公司与江苏鲲鹏·昇腾生态创新中心团队达成了深度合作,共同打造企业级实时量测中心运营管理平台,通过汇聚数据,贯通拓扑,沉淀服务,为精准预测海量分布式能源和负荷、配网智能抢修指挥、实时线损分析及负荷精准控制提供有力支撑。

国网江苏信通公司:基于鲲鹏DevKit高效开发实时量测中心运营管理平台,数据采集和分析更高效_第2张图片


实时量测中心运营管理平台架构图

鲲鹏DevKit 1人天/应用快速迁移实时量测中心运营管理平台

在项目实施初期,由于指令集差异问题,需要把运营管理平台迁移到鲲鹏。该应用包含接口类服务87个,设计事件订阅类服务23个,计算任务50个,且第三方软件众多,若通过手工查找、迁移,预计需要近10人天才能完成,在鲲鹏DevKit代码迁移工具的帮助下,自动识别需要替换的so库及20个待替换Jar包,避免重复工作,平均1人天/应用就完成了整个业务系统的迁移,极大的提高了迁移效率。

基于鲲鹏DevKit高效迭代鲲鹏版本,性能提升30%+

迁移完成后,国网江苏信通公司计划在鲲鹏平台上进行该平台的新版本开发迭代及调优升级,以满足高并发、高数据量下的数据读写及准确性等要求。在开发过程中,为进一步提升业务与鲲鹏平台的兼容性和稳定性,开发人员使用了将OpenJDK替换成了鲲鹏提供的毕昇JDK,基于其高性能的算法优化、编译优化等,进一步提升了应用的Spark大数据分析组件的数据处理效率,也为企业实时量测中心运营管理平台的前端代码编译和运行提供了更好的兼容性和稳定性。

此外,为解决用电功率、电压、设备状态等信息采集、处理慢等问题,技术人员使用了鲲鹏DevKit性能分析工具对数据收集、数据分析等关键模块进行了调优:通过鲲鹏系统性能分析工具对系统软硬件配置进行全景分析,识别出进程在不同的CPU核上来回切换,导致服务器CPU使用率占比很高,根据工具提供的优化建议,将进程与物理核进行绑定,减少跨NUMA节点带来的性能损失,同时进一步修改系统参数,有效提高了大数据组件Spark和Flink的数据处理能力。

国网江苏信通公司:基于鲲鹏DevKit高效开发实时量测中心运营管理平台,数据采集和分析更高效_第3张图片


 

国网江苏信通公司:基于鲲鹏DevKit高效开发实时量测中心运营管理平台,数据采集和分析更高效_第4张图片

使用鲲鹏DevKit性能分析工具优化前后性能对比图

通过上述优化,实时量测中心运营管理平台的数据分析及数据读写性能均得到明显提升,数据读吞吐量IOPS从300000提升至580000,数据写吞吐量IOPS从150000提升至281000;模块计算分析时常从15min降低至10min。以上性能的提升,让各系统加快数据整合及分发,极大地提升了数据收集与处理效率,大量节省了人力成本。

目前,国网江苏电力实时量测中心运营管理平台已完成调控、设备、营销3大专业全量量测数据接入,部署了国网江苏电力50个标准量测服务,构建了量测中心运营体系,有力支撑新能源预测与消纳、电网故障研判、实时线损分析和配网辅助规划等电网业务。未来,国网江苏信通公司将持续联合鲲鹏计算产业深化电网数字化转型,建强用好实时量测中心运营管理平台,以用促建,不断提升量测中心数据质量,发挥实时量测数据价值,确保为业务应用提供及时、准确、完整的高质量基础数据支撑。

鲲鹏DevKit也将围绕开发者体验持续升级能力,支持迁移扫描、鲲鹏亲和分析等插件快速接入企业现有开发流水线(如:Jenkins,Codearts),不改变现有开发流程,开发者可以在流水线中快速扫描、修改、提交代码,更加便捷的发布鲲鹏版本。

你可能感兴趣的:(开源)