186页13万字智慧能源大数据分析平台建设方案

目录

智慧能源大数据分析平台及能源集团数字化平台建设方案

目录

一、相关项目背景

二、需求理解

2.1 需求理解

三、方案设计

3.1 整体方案设计

3.3.1 整体架构

3.3.2 解决方案说明

3.3.3 需求应答

3.2 数据仓库

3.2.1 数据仓库架构

3.2.2 数据仓库产品说明

3.2.3 需求应答

3.3 数据整合与治理

3.3.1 解决方案架构

3.3.2 产品说明

3.3.3 需求应答

3.4 数据展现

3.4.1 数据展现架构

3.4.2 产品说明

3.4.3 需求应答

3.5 移动应用

3.5.1 移动应用架构

3.5.2 产品说明

3.5.3 需求应答

3.6 大数据平台

3.6.1 Hadoop平台

3.6.2 大数据存储

3.6.3 大数据采集

四、业务需求应答

4.1 采集业务数据类型

4.2 数据管控

4.3 业务透明化

4.4 业务主题场景分析

4.5 业务共享平台

五、集成说明

六、相关项目实施与交付

6.1总体思路

6.1.1数据基础

6.1.2KPI和报表分析体系

6.1.3system规划与架构

6.1.4大数据system管控机制

6.2本期相关项目范围和实施方法

6.2.1本期相关项目范围

6.2.2相关项目实施方法论

6.2.3相关项目管控

6.3system各阶段交付件

6.4相关项目问题和风险

6.5问题管控和服务保障

6.6相关项目假设

七、项目实施管理方案

1.1 项目组织管理

1.1.1 建立项目组织管理机构

1.1.2 确定项目分工角色职责

1.1.3 建立项目组织相关管理制度

1.2 项目管理计划

1.2.1 综合管理计划

1.2.2 综合变更控制

1.3 范围控制计划

1.3.1 范围定义及跟踪

1.3.2 变更管理

1.3.3 变更控制工具

1.4 进度控制计划

1.4.1 项目进度跟踪

1.4.2 项目进度分析

1.4.3 项目进度控制

1.5 组织机构和人员管理计划

1.5.1 人力资源规划

1.5.2 项目团队建设

1.5.3 项目团队管理

1.6 质量保障计划

1.6.1 质量保证目标

1.6.2 质量保证角色与职责

1.6.3 质量保证流程

1.6.4 质量保证活动

1.7 沟通管理计划

1.7.1 沟通计划

1.7.2 报告形式

1.7.3 相关工具文档

1.8 配置管理计划

1.8.1 配置管理目标

1.8.2 配置管理角色与职责

1.8.3 配置管理流程

1.8.4 配置项定义

1.8.5 配置管理活动

1.8.6 配置管理工具

1.9 风险控制计划

1.9.1 风险识别

1.9.2 风险分析

1.9.3 风险控制

1.10 变革管理计划

1.10.1 变革管理方法

1.10.2 变革管理成功的关键策略

1.11 项目进度计划

1.11.1 影响项目进度的因素

1.11.2 项目进度制定的原则

1.11.3 项目实施进度计划

1.11.4 项目里程碑

1.12 安全保密计划

1.13 文档编制计划

1.13.1 项目管理类

1.13.2 软件工程类

1.13.3 项目支持类

1.14 质量保障计划

1.14.1 确定质量保证目标

1.14.2 质量保证角色与职责

1.14.3 质量保证流程

1.14.4 质量保证活动

1.15 产品交付计划

1.15.1 背景介绍

1.15.2 客户管理

1.15.3 服务人员管理

1.15.4 服务流程管理

1.15.5 服务实体设施

1.15.6 产品详细交付计划

1.16 项目培训计划

1.16.1 培训组织管理

1.16.2 培训队伍要求

1.16.3 培训对象

1.16.4 培训内容及要求

1.17 实施风险管理

1.17.1 风险计划

1.17.2 风险监视

1.17.3 风险管理

售后服务及培训

1.18 售后服务说明

1.18.1 售后服务及响应级别

1.18.2 定期现场巡检服务

1.18.3 专人值守服务

1.18.4 本地化服务

1.19 运维服务保障措施

1.19.1 项目运维组织机构及职责

1.19.2 运维风险预防措施

1.19.3 运维突发事情应急措施

1.20 服务质量保障措施

1.20.1 完善的售后服务体系

1.20.2 运行维护制度建立

1.20.3 运维知识库系统

1.20.4 运行维护队伍建设

1.20.5 闭环式服务

1.20.6 服务监督机制

1.20.7 试运行期间的运维保障

1.20.8 免费质保期间的运维保障

1.20.9 免费质保期后的运维保障

1.21 质量保证范围

1.22 售后服务承诺书

1.23 售后服务机构网点清单、服务电话

1.23.1 售后服务人员配置

1.23.2 人员培训计划

施工组织设计方案

1.24 施工组织设计

1.24.1 综合说明，质量、服务、安全文明施工目标

1.24.2 主要施工方法；新技术、新材料、新工艺、新设备的应用

1.24.3 工程投入的主要物资和施工机械设备情况、主要施工机械进场计划

1.24.4 施工设备进场计划

1.24.5 工程所用产品进场计划

1.24.6 确保工程质量的技术组织措施

1.24.7 确保安全生产的技术组织措施

1.24.8 确保文明施工的技术组织措施

1.24.9 施工顺序、总进度安排及总形象进度示意图

1.25 项目管理机构配备

1.26 质量及保修服务

1.26.1 保修期与保修范围

1.26.2 保修责任

1.26.3 售后培训

1.26.4 售后维护服务

1.26.5 接口对接服务

1.27 组织管理

1.27.1 项目管理方法

1.27.2 项目质量管理

1.27.3 系统测试计划

1.27.4 测试方案

1.27.5 测试管理

1.28 项目风险管理

1.28.1 主要风险列表

1.28.2 风险影响分析

1.28.3 关键风险分析

1.28.4 风险控制计划

1.28.5 风险应对措施

1.28.6 项目沟通管理

1.28.7 项目决策制度

1.28.8 问题与争议管理办法

1.29 上线后支持期

1.30 施工总体布署

1.30.1 施工部署原则

1.30.2 2施工准备阶段

1.30.3 施工阶段

1.30.4 调试交接阶段

1.31 施工顺序及工艺安排

1.31.1 施工方法

1.31.2 质量标准

1.31.3 操作工艺

1.31.4 应注意的质量问题

1.31.5 设备安装要求

1.31.6 施工布线规格要求

1.32 项目工作流程

1.32.1 配电工程

1.32.2 抗静电防尘处理

1.32.3 隐蔽工程

1.32.4 吊顶工程

1.32.5 彩钢板墙面工程

1.32.6 防静电地板施工准备

1.32.7 防静电接地及防雷

1.32.8 消防系统搬迁

1.32.9 机房环境动力监测系统工程

1.32.10 机房精密空调搬迁安装调试

1.32.11 设备搬迁

1.32.12 DLP系统

1.32.13 呼叫中心系统

1.32.14 音响系统

1.32.15 智慧安防系统IMOS

保证安全文明、文明施工措施

1.33 安全文明施工目标

1.34 安全文明施工管理措施

1.34.1 安全教育

1.34.2 安全检查

1.34.3 技术措施

1.34.4 安全事故调查处理

1.35 各级人员安全生产职责

1.36 安全防火措施

1.37 应急保证措施

1.38 保证文明施工管理措施

1.38.1 文明施工原则

1.38.2 文明施工管理职责

1.38.3 现场文明施工管理内容

1.38.4 检查与考核

1.39 保证施工安全管理措施

1.39.1 安全管理

1.39.2 施工现场

1.39.3 施工器材

1.39.4 安全用火及防火规定

1.39.5 安全用电

3.1 整体方案设计

3.3.1 整体架构

SAP建议的XX大数据整体架构设计采用分层实现，垂直数据治理与管控结构。如图3.3 XX大数据平台整体架构所示，整体架构从数据源开始自下而上分成：数据源层；数据集成与存储层；数据建模层；数据分析服务层；数据应用创新服务层；服务门户层；数据治理和配置管控垂直贯通。

             图3.3 XX大数据平台整体架构

3.3.2 解决方案说明

数据源层涵盖XX现有的所有业务类型数据，和外部数据。

生产运行领域自动化化与信息化有：XX自主研发的SCADA集中监控平台，IBM风场管控EAMsystem。对于这部分数据，大数据平台既可以当做事件流处理，也可以作为传统静态数据批量抽取转换加载（ETL）。

经营管控领域信息system有：SAP ERPsystem，达索PLMsystem；大数据平台可以通过SAP SLT实时同步SAP ERP数据，通过Data Service ETL集成PLM数据。

外部公共数据有：天气、气候，水文，地理信息，环境数据等；大数据平台对这部分处理主要通过Hadoop平台集中存储，通过HANA内存数据库统一建模访问。

数据集成与存储层是整个大数据平台核心。以SAP HANA内存计算平台作为核心，是采用ShareNothing的分布式system架构；提供基于分布式文件system的Hadoop数据存储服务；system架构天生具备大规模并行处理能力和横向纵向扩展能力。大数据核心平台具有一次建设，分步骤扩展的能力；平台规模在扩展的同时在技术上不需要增加额外技术或产品。在海量数据存储方面采用数据温区分层设计，常用结构化数据作为热数据存储在内存中，通常的数据规模是TB级；历史结构化数据作为温数据存储在磁盘列式数据引擎中，数据规模10TB—100TB；非结构化半结构化数据或无法直接分析的数据作为冷数据，存储在Hadoop中规模可以达到PB级。数据访问统一由HANA内存平台实现。

数据建模层是基于数据存储层的虚拟层，利用SAP大数据平台的HANA内存中视图建模功能实现；在本方案中划分为两个数据模型区：风机、风场数据整合服务和经营管控数据集市。

风机风场数据整合服务包含：风资源数据模型，产品数据模型，风电场数据模型，机组运行数据模型等。

经营管控数据集市是面向企业经营管控的，涵盖：经营利润分析类，预算分析采购计划类，主生产计划类，主需求计划类，市场分析类，经营成本类，结算回款类，库存周转类，现场计划类，物流配送计划类，销售价格类等企业管控指标及报表。企业经营管控驾驶舱和数字董事会看板是这个模型集合的典型应用。

数据分析服务层：分析服务是利用大数据技术从数据中挖掘出利用价值，实现数据快速变现。这部分工作可以在大数据平台搭建完成后在后续阶段联合合作伙伴和SAP数据科学服务、客户专家团队联合开展。

数据应用创新服务：涵盖交付实施服务，智慧运维服务，远程预警服务，业主SaaS应用。

服务门户：提供集成与协作门户，涵盖厂商应用门户，风场应用门户，客户应用门户。

数据治理与配置管控：大数据平台提供垂直到每一层的元数据管控，数据相关质量管控，数据模型管控，数据配置管控，数据标准管控，数据安全管控。

3.3.3 需求应答

1、 提供分布式的system架构，通过简便扩展服务器硬件资源来提升整体system的并行计算能力。

回答：SAP 大数据平台天然的就是分布式system架构；可以向上扩展或横向扩展服务器硬件资源来提供整体system的并行计算能力。

2、 提供分布式的文件system，通过简便扩展服务器存储空间来增加整个system的存储容量和并行I/O性能，同时能高效处理海量数据(PB级)。

回答：SAP HANA大数据平台能够通过Vora融合Hadoop分布式文件system；不存在IO性能瓶颈，能够处理海量数据。

3、 提供分布式内存计算能力，通过简便扩展服务器内存来增加整个system的内存容量，提升整个system的快速响应能力。

回答：SAP HANA只需要增加内存就可以增加system的计算能力，线性提升system的快速响应能力。

SAP 大数据平台核心优势总结：

1. 实时分析，实时预测： 业务数据实时同步；所有热点数据在内存中存储、在内存中计算，实现实时报表和实时分析；

2. 数据唯一，减少数据冗余： 在SAP HANA的分层架构中，各层数据不落地，减少数据冗余，减轻数据维护的难度，从技术上尽量避免出现数据不一致的风险；

3. 平台开放，逻辑灵活：  SAP HANA支持多种数据源接入，整合了多种数据采集工具，针对不同的数据源类型提供不同的工具和手段；模型按层划分，逻辑清晰，架构稳定性非常好；

4. 跨平台访问，全数据覆盖： 在统一界面中实现对跨平台的数据访问，热点数据和历史数据无缝集成，大大降低了用户的使用门槛；

5. 数据权威，信息安全性高：核心数据和应用保持同步，可回溯可审计；

6. 多种样式的展现形式和访问的方法：可实现各类报表、交互式分析、即席查询、数据探索、仪表盘及移动应用等方式方法，满足不同人员方便、直观、可视化的分析需求；

3.2 数据仓库

3.2.1 数据仓库架构

本方案提供以SAP HANA为中心的可扩展数据仓库架构，是面向未来的数据管控平台，无缝支撑分析应用的数据仓库架构；也是支撑大数据和数据湖泊的一体化的架构。如图3.4 SAP HANA数据仓库平台所示。

文章引用的资料均通过互联网等公开渠道合法获取，仅作为行业交流和学习使用，并无任何商业目的。其版权归原资料作者或出版社所有，本文作者不对所涉及的版权问题承担任何法律责任。若版权方、出版社认为本文章侵权，请立即通知作者删除。