电力大数据

电力大数据[转载]
    以下内容为转载。并经鄙人在各种资料基础上删减，提取出阅读后能尽快进入实际开发的内容。

第一章 概述
一 电力大数据概念
    作为中国经济社会发展的“晴雨表”，电力数据以其与经济发展紧密而广泛的联系，将会呈现出无以伦比的正外部性，对我国经济社会发展以至人类社会进步也将形成更为强大的推动力。
    据统计，截至2013年底，国家电网建成世界最大电能计量自动化系统，累计安装智能电能表1.82亿只，实现采集1.91亿户，采集覆盖率56%，自动抄表核算率超过97%。
    智能电网可以产生巨大的数据量。比如国网信通在北京五个小区，353个采集点，采集1.2万个参数，包括频率、电压、电流等，15分钟采集一次，一天就能产生34GB。

二 电力大数据的前景
    在电力行业，坚强智能电网的迅速发展使信息通信技术正以前所未有的广度、深度与电网生产、企业管理快速融合，信息通信系统已经成为智能电网的“中枢神经”，支撑新一代电网生产和管理发展。
    当前，电网业务数据大致分为三类：一是电力企业生产数据，如发电量、电压稳定性等方面的数据；二是电力企业运营数据，如交易电价、售电量、用电客户等方面的数据；三是电力企业管理数据，如ERP、一体化平台、协同办公等方面的数据。
    如能充分利用这些基于电网实际的数据，对其进行深入分析，便可以提供大量的高附加值服务。这些增值服务将有利于电网安全检测与控制（包括大灾难预警与处理、供电与电力调度决策支持和更准确的用电量预测），客户用电行为分析与客户细分，电力企业精细化运营管理等等，实现更科学的需求侧管理。

三 电力大数据技术
    电力大数据技术包括：高性能计算、数据挖掘、统计分析、数据可视化等。
    电力大数据的特性满足大数据的五个特性，一是数据量大（Volume）、二是处理速度快（Velocity）、三是数据类型多(Variety)、四是价值大（Value）、五是精确性高（Veracity）。

1 高性能计算
    通过Hadoop分布式计算技术采用MAP-REDUCE模型建立分布式计算集群或者Yonghong Z-Suite等高性能工具，对电力大数据进行分布式计算和处理。

2 数据挖掘技术
    数据挖掘技术是通过分析大量数据，从大量数据中寻找其规律的技术，主要有数据准备、规律寻找和规律表示3个步骤。
    数据准备是从相关的数据源中选取所需的数据并整合成用于数据挖掘的数据集；规律寻找是用某种方法将数据集所含的规律找出来；规律表示是尽可能以用户可理解的方式（如可视化）将找出的规律表示出来。
    数据挖掘的任务有关联分析、聚类分析、分类分析、异常分析、特异群组分析和演变分析等等。

3 统计分析
    统计分析，常指对收集到的有关数据资料进行整理归类并进行解释的过程。统计分析可分为描述统计和推断统计。

4 数据可视化技术
    数据可视化借助于图形化手段，清晰有效地传达与沟通信息。

四 实践相关的问题
    智能电网中数据量最大的应属于电力设备状态监测数据。状态监测数据不仅包括在线的状态监测数据（时序数据和视频)，还包括设备基本信息、实验数据、缺陷记录等，数据量极大，可靠性要求高，实时性要求比企业管理数据要高。
    智能电网的基础设施规模庞大，数量众多且分布在不同地点。
    数据质量较低，数据管控能力不强。大数据时代中，数据质量的高低、数据管控能力的强弱直接影响了数据分析的准确性和实时性。
    目前，电力行业数据在可获取的颗粒程度，数据获取的及时性、完整性、一致性等方面的表现均不尽人意，数据源的唯一性、及时性和准确性急需提升，部分数据尚需手动输入，采集效率和准确度还有所欠缺，行业中企业缺乏完整的数据管控策略、组织以及管控流程。
    数据共享不畅，数据集成程度不够。大数据技术的本质是从关联复杂的数据中挖掘知识，提升数据价值，单一业务、类型的数据即使体量再大，缺乏共享集成，其价值就会大打折扣。
    目前电力行业缺乏行业层面的数据模型定义与主数据管理，各单位数据口径不一致。行业中存在较为严重的数据壁垒，业务链条间也尚未实现充分的数据共享，数据重复存储且不一致的现象较为突出。
    信息安全面临挑战。电力大数据由于涉及到众多电力用户的隐私，对信息安全也提出了更高的要求。
    电力数据储存时间要求以及海量电力数据的爆发式增长对IT基础设施提出了更高的要求。目前电力企业虽大多已建成一体化企业级信息集成平台，能够满足日常业务的处理要求，但其信息网络传输能力、数据存储能力、数据处理能力、数据交换能力、数据展现能力以及数据互动能力都无法满足电力大数据的要求，尚需进一步加强。

五 实施电力大数据给电网带来的利益
    为电网规划和新能源探路。对于风能、太阳能等具有间歇性的新能源，通过“大数据”分析进行有效地调节，也可以使新能源更好地与传统的水火电进行互补。
    更加智能的电网运行。构建一体化监控系统，优化电网的运行方式，达到经济运行;快速查找、隔离故障，缩短用户的停电时间;合理控制无功负荷和电压水平，改善供电质量;深化信息综合分析、智能告警、一键式控制等高级应用功能，解决目前存在的系统功能分散、集成度低、维护工作量大等问题，提升电网监控系统的集成化和智能化水平。
    更加高效的需求侧管理。电力大数据可通过根据用户的用电量、分时电价、天气预报以及建筑物里的供暖特性等进行综合分析，确定最优运行和负荷控制计划，对集中负荷及部分工厂用电负荷进行监视、管理和控制，并通过合理的电价结构引导用户转移负荷，平坦负荷曲线。并且通过对电力系统生产运行方式的优化、对间歇式可再生能源的消纳以及对全社会节能减排观念的引导，这样可以在完成同样用电功能的情况下减少电量消耗和电力需求，从而缓解缺电压力，降低供电成本和用电成本。
    智能家居。智能家居通过室内电力线将家中的各种设备(如音视频设备、照明系统、窗帘控制、空调控制、安防系统、数字影院系统、网络家电以及三表抄送等)连接到一起，提供家电控制、防盗报警、环境监测、暖通控制等功能。帮助家庭与外部保持信息交流畅通，优化设备启动时间、运转功率等，为用户节约用电资金。在电动汽车智能充电系统中，通过分析来自多个数据源的实时数据流和历史数据，能够确定司机为汽车电池充电的最佳时间和地点，并提出充电站的最佳设置点。

第二章 大数据技术

第三章 SQL Server 数据挖掘
一 SQL Server 2008中九种数据挖掘算法

二 SQL Server 2005 数据挖掘实验
一 创建维度树和Naive Bayes数据挖掘模型
    使用微软商业智能开发工作室（Business Intelligence Development Studio）环境开发一个分析服务解决方案。商业智能开发工作室是基于Microsoft Visual Studio 2005开发环境的环境。
    商业智能开发工作室提供给你一个在设计，测试，编辑以及部署分析服务项目的过程中需要的集成开发环境。
    为了创建和查看数据挖掘模型，你应当：
        在商业智能开发工作室环境中创建一个分析服务项目
        创建数据源和数据源视图
        使用挖掘模型向导创建数据挖掘结构和决策树数据挖掘模型
        在挖掘模型视图中创建一个关联挖掘模型（Naïve Bayes）
        部署分析服务解决方案
        使用挖掘模型查看器浏览数据挖掘模型

<一>创建一个分析服务项目 

1 Windows 任务栏，选择Start | All Programs | Microsoft  SQL Server 2005 CTP | Business Intelligence Development Studio
2 单击File | New | Project 
3 在New Project对话框中，找到Project Types窗格, 单击 Business Intelligence Projects文件夹
4 在Templates窗格中,单击Analysis Services Project图标
5 在Name文本框中,输入“DM Exercise 1”
6 在Location文本框中，输入C:\SQL Labs\User Projects
7 取消对Create directory for Solution 选项的选择
8 在New Project对话框，单击OK

 

 ========

大数据在电力行业的应用前景有哪些？
本人目前电气工程在校研究生一枚，对电力行业将来的发展前景很感兴趣。
我觉得这里的大数据不仅指用户用电量的数据，还应该包括电网运行状态的数据和发电机组的数据，例如继保，变电站运行，电厂侧还可以有汽机，锅炉。对这些数据进行分析有意义吗？目前大数据在电力行业有哪些应用？
最近智能电网炒的很火，智能电网的建设需要大数据的支持吗？
新能源呢？例如风电场，太阳能，可以利用大数据提高其发电效率吗？


一下问了好多问题，希望有高手能予以解惑


作为曾经搞过几个电力相关项目的人，就自己粗浅的理解，很写实的回答一下吧，也希望专家指正：
1、国内电网行业相对封闭，很多国外的新技术和新思想并不适用于国内，根本没施展的基础和环境；
2、但国内电网行业技术上并不算落后，对国外相关技术的研究其实也都有及时跟踪和深入理解，只可惜，如1所述，确实没啥空间。
3、要玩大数据的前提是首先要有大数据，以前电网建设重点都集中在生产环节，配用电环节关注较少，而生产环节，起码目前，还谈不上大数据，相关的数据挖掘倒是一直都需要，也一直都在用。用电信息采集系统（用户能见到的就是智能电表）等的大面积推广，意味着与用户交互最多的配用电环节开始得到重视。
4、配用电环节要做到智能化，确实需要基于海量用户用电特征数据分析，进而实现台区的负荷预测、用电调度、有序用电等等。但遗憾的是，理念归理念、技术归技术、现实归现实，虽然智能配用电这一块理论上都设计的很好，但现实中还有很多问题。
5、以用电信息采集系统为例，其实是一个收集用户用电行为特征最好的前端设施，这里需要分钟级的数据采集频率，目前一般是15分钟。即一个小时采集4次。但由于用户住宅区的分布杂乱无章，要想采用重新布线的有线方式传输数据显然投资过大，PLC又慢又很不稳定。无线的话，GPRS目前使用较多，不过呢，大量用户数据都走GPRS，且不说费用，数据拥塞是避免不了的，受环境影响，干扰和屏蔽也较多。这样一来，后台收集数据经常会出现延迟和丢包情况，因此很多数据根本无法全部有效采集。也就不存在完整的海量数据一说，那么又到哪里去分析呢？
6、国内确实建设了一些完整的智能电网小区试点，用户家里也可以用智能插座，这种环境下用户数据可以得到有效收集，如果用户量较大，必然会产生大数据，相对也就需要大数据技术来处理和分析，从而进一步提高电网智能服务水平。但这种整体的改造要用到目前现有电力系统中，显然不现实，成本过高，电老大再有钱，也不可能去干这种事。
7、从电力的后台系统来说，涉及到了大量的各种业务系统，但这些系统多年的建设过程中因为缺乏顶层设计，所以大多自成体系，数据很难互通共享并提供上层应用服务，因此即便这些数据真的也是海量大数据，但要实现整体的分析挖掘，难度依然十分巨大。
8、风电、太阳能、包括微网的分布式能源接入，其实跟前端用户用电行为是密切相关的，由于目前还没有低成本高效率的储能系统，因此怎么分配这些能源，怎样与现有配电网很好的结合也会是十分麻烦的问题，要知道风电和太阳能等都是不确定性能源，对现网冲击还是很大的。这确实也需要数据分析技术的支持，譬如对风电准确的预测等。这些技术都很早就有人在研究，谈不上大数据。除非是大电网环境下，整体都构建成分布式能源，这时候可能才算得上是大数据吧。
8、总结一下，从未来看，智能电网的实现的确需要大数据做支撑，但在我国电网环境下，这将还是一个漫长的过程。当前说大数据，更多是噱头，吸引眼球和忽悠项目罢了。大部分省级公司的数据更多应该还是结构化运营数据，顶多T级了。
========
“数据海量、信息缺乏”是相当多企业在数据大集中之后面临的尴尬问题。目前，大多数事物型数据库仅实现了数据录入、查询和统计等较低层次的功能，无法发现数据中存在的有用信息，更无法进一步通过数据分析发现更高的价值。如果能够对这些数据进行分析，探寻其数据模式及特征，进而发现某个客户、群体或组织的兴趣和行为规律，专业人员就可以预测到未来可能发生的变化趋势。这样的数据挖掘过程，将极大拓展企业核心竞争力。例如，在网上购物时遇到的提示“浏览了该商品的人还浏览了如下商品”，就是在对大量的购买者“行为轨迹”数据进行记录和挖掘分析的基础上，捕捉总结购买者共性习惯行为，并针对性地利用每一次购买机会而推出的销售策略。


　　数据挖掘在供电企业的应用前景


　　在电力行业，坚强智能电网的迅速发展使信息通信技术正以前所未有的广度、深度与电网生产、企业管理快速融合，信息通信系统已经成为智能电网的“中枢神经”，支撑新一代电网生产和管理发展。目前，国家电网公司已初步建成了国内领先、国际一流的信息集成平台。随着三地集中式数据中心的陆续投运，一级部署业务应用范围的拓展，结构化和非结构化数据中心的上线运行，电网业务数据从总量和种类上都已初具规模。随着后续智能电表的逐步普及，电网业务数据将从时效性层面进一步丰富和拓展。大数据的“量类时”特性，已在海量、实时的电网业务数据中进一步凸显，电力大数据分析迫在眉睫。


　　当前，电网业务数据大致分为三类：一是电力企业生产数据，如发电量、电压稳定性等方面的数据；二是电力企业运营数据，如交易电价、售电量、用电客户等方面的数据；三是电力企业管理数据，如ERP、一体化平台、协同办公等方面的数据。如能充分利用这些基于电网实际的数据，对其进行深入分析，便可以提供大量的高附加值服务。这些增值服务将有利于电网安全检测与控制（包括大灾难预警与处理、供电与电力调度决策支持和更准确的用电量预测），客户用电行为分析与客户细分，电力企业精细化运营管理等等，实现更科学的需求侧管理。


　　例如，在电力营销环节，针对“大营销”体系建设，以客户和市场为导向，省级集中的95598客户服务、计量检定配送业务属地化管理的营销管理体系和24小时面向客户的营销服务系统，可通过数据分析改善服务模式，提高营销能力和服务质量；以分析型数据为基础，优化现有营销组织模式，科学配置计量、收费和服务资源，构建营销稽查数据监控分析模型；建立各种针对营销的系统性算法模型库，发现数据中存在的隐藏关系, 为各级决策者提供多维的、直观的、全面的、深入的分析预测性数据, 进而主动把握市场动态,采取适当的营销策略，获得更大的企业效益，更好地服务于社会和经济发展。此外，还可以考虑在电力生产环节，利用数据挖掘技术，在线计算输送功率极限，并考虑电压等因素对功率极限的影响，从而合理设置系统输出功率，有效平衡系统的安全性和经济性。


========