电力大数据

电力大数据[转载]
    以下内容为转载。并经鄙人在各种资料基础上删减，提取出阅读后能尽快进入实际开发的内容。

第一章 概述
一 电力大数据概念
    作为中国经济社会发展的“晴雨表”，电力数据以其与经济发展紧密而广泛的联系，将会呈现出无以伦比的正外部性，对我国经济社会发展以至人类社会进步也将形成更为强大的推动力。
    据统计，截至2013年底，国家电网建成世界最大电能计量自动化系统，累计安装智能电能表1.82亿只，实现采集1.91亿户，采集覆盖率56%，自动抄表核算率超过97%。
    智能电网可以产生巨大的数据量。比如国网信通在北京五个小区，353个采集点，采集1.2万个参数，包括频率、电压、电流等，15分钟采集一次，一天就能产生34GB。

二 电力大数据的前景
    在电力行业，坚强智能电网的迅速发展使信息通信技术正以前所未有的广度、深度与电网生产、企业管理快速融合，信息通信系统已经成为智能电网的“中枢神经”，支撑新一代电网生产和管理发展。
    当前，电网业务数据大致分为三类：一是电力企业生产数据，如发电量、电压稳定性等方面的数据；二是电力企业运营数据，如交易电价、售电量、用电客户等方面的数据；三是电力企业管理数据，如ERP、一体化平台、协同办公等方面的数据。
    如能充分利用这些基于电网实际的数据，对其进行深入分析，便可以提供大量的高附加值服务。这些增值服务将有利于电网安全检测与控制（包括大灾难预警与处理、供电与电力调度决策支持和更准确的用电量预测），客户用电行为分析与客户细分，电力企业精细化运营管理等等，实现更科学的需求侧管理。

三 电力大数据技术
    电力大数据技术包括：高性能计算、数据挖掘、统计分析、数据可视化等。
    电力大数据的特性满足大数据的五个特性，一是数据量大（Volume）、二是处理速度快（Velocity）、三是数据类型多(Variety)、四是价值大（Value）、五是精确性高（Veracity）。

1 高性能计算
    通过Hadoop分布式计算技术采用MAP-REDUCE模型建立分布式计算集群或者Yonghong Z-Suite等高性能工具，对电力大数据进行分布式计算和处理。

2 数据挖掘技术
    数据挖掘技术是通过分析大量数据，从大量数据中寻找其规律的技术，主要有数据准备、规律寻找和规律表示3个步骤。
    数据准备是从相关的数据源中选取所需的数据并整合成用于数据挖掘的数据集；规律寻找是用某种方法将数据集所含的规律找出来；规律表示是尽可能以用户可理解的方式（如可视化）将找出的规律表示出来。
    数据挖掘的任务有关联分析、聚类分析、分类分析、异常分析、特异群组分析和演变分析等等。

3 统计分析
    统计分析，常指对收集到的有关数据资料进行整理归类并进行解释的过程。统计分析可分为描述统计和推断统计。

4 数据可视化技术
    数据可视化借助于图形化手段，清晰有效地传达与沟通信息。

四 实践相关的问题
    智能电网中数据量最大的应属于电力设备状态监测数据。状态监测数据不仅包括在线的状态监测数据（时序数据和视频)，还包括设备基本信息、实验数据、缺陷记录等，数据量极大，可靠性要求高，实时性要求比企业管理数据要高。
    智能电网的基础设施规模庞大，数量众多且分布在不同地点。
    数据质量较低，数据管控能力不强。大数据时代中，数据质量的高低、数据管控能力的强弱直接影响了数据分析的准确性和实时性。
    目前，电力行业数据在可获取的颗粒程度，数据获取的及时性、完整性、一致性等方面的表现均不尽人意，数据源的唯一性、及时性和准确性急需提升，部分数据尚需手动输入，采集效率和准确度还有所欠缺，行业中企业缺乏完整的数据管控策略、组织以及管控流程。
    数据共享不畅，数据集成程度不够。大数据技术的本质是从关联复杂的数据中挖掘知识，提升数据价值，单一业务、类型的数据即使体量再大，缺乏共享集成，其价值就会大打折扣。
    目前电力行业缺乏行业层面的数据模型定义与主数据管理，各单位数据口径不一致。行业中存在较为严重的数据壁垒，业务链条间也尚未实现充分的数据共享，数据重复存储且不一致的现象较为突出。
    信息安全面临挑战。电力大数据由于涉及到众多电力用户的隐私，对信息安全也提出了更高的要求。
    电力数据储存时间要求以及海量电力数据的爆发式增长对IT基础设施提出了更高的要求。目前电力企业虽大多已建成一体化企业级信息集成平台，能够满足日常业务的处理要求，但其信息网络传输能力、数据存储能力、数据处理能力、数据交换能力、数据展现能力以及数据互动能力都无法满足电力大数据的要求，尚需进一步加强。

五 实施电力大数据给电网带来的利益
    为电网规划和新能源探路。对于风能、太阳能等具有间歇性的新能源，通过“大数据”分析进行有效地调节，也可以使新能源更好地与传统的水火电进行互补。
    更加智能的电网运行。构建一体化监控系统，优化电网的运行方式，达到经济运行;快速查找、隔离故障，缩短用户的停电时间;合理控制无功负荷和电压水平，改善供电质量;深化信息综合分析、智能告警、一键式控制等高级应用功能，解决目前存在的系统功能分散、集成度低、维护工作量大等问题，提升电网监控系统的集成化和智能化水平。
    更加高效的需求侧管理。电力大数据可通过根据用户的用电量、分时电价、天气预报以及建筑物里的供暖特性等进行综合分析，确定最优运行和负荷控制计划，对集中负荷及部分工厂用电负荷进行监视、管理和控制，并通过合理的电价结构引导用户转移负荷，平坦负荷曲线。并且通过对电力系统生产运行方式的优化、对间歇式可再生能源的消纳以及对全社会节能减排观念的引导，这样可以在完成同样用电功能的情况下减少电量消耗和电力需求，从而缓解缺电压力，降低供电成本和用电成本。
    智能家居。智能家居通过室内电力线将家中的各种设备(如音视频设备、照明系统、窗帘控制、空调控制、安防系统、数字影院系统、网络家电以及三表抄送等)连接到一起，提供家电控制、防盗报警、环境监测、暖通控制等功能。帮助家庭与外部保持信息交流畅通，优化设备启动时间、运转功率等，为用户节约用电资金。在电动汽车智能充电系统中，通过分析来自多个数据源的实时数据流和历史数据，能够确定司机为汽车电池充电的最佳时间和地点，并提出充电站的最佳设置点。

第二章 大数据技术

第三章 SQL Server 数据挖掘
一 SQL Server 2008中九种数据挖掘算法

二 SQL Server 2005 数据挖掘实验
一 创建维度树和Naive Bayes数据挖掘模型
    使用微软商业智能开发工作室（Business Intelligence Development Studio）环境开发一个分析服务解决方案。商业智能开发工作室是基于Microsoft Visual Studio 2005开发环境的环境。
    商业智能开发工作室提供给你一个在设计，测试，编辑以及部署分析服务项目的过程中需要的集成开发环境。
    为了创建和查看数据挖掘模型，你应当：
        在商业智能开发工作室环境中创建一个分析服务项目
        创建数据源和数据源视图
        使用挖掘模型向导创建数据挖掘结构和决策树数据挖掘模型
        在挖掘模型视图中创建一个关联挖掘模型（Naïve Bayes）
        部署分析服务解决方案
        使用挖掘模型查看器浏览数据挖掘模型

<一>创建一个分析服务项目 

1 Windows 任务栏，选择Start | All Programs | Microsoft  SQL Server 2005 CTP | Business Intelligence Development Studio
2 单击File | New | Project 
3 在New Project对话框中，找到Project Types窗格, 单击 Business Intelligence Projects文件夹
4 在Templates窗格中,单击Analysis Services Project图标
5 在Name文本框中,输入“DM Exercise 1”
6 在Location文本框中，输入C:\SQL Labs\User Projects
7 取消对Create directory for Solution 选项的选择
8 在New Project对话框，单击OK