各位同仁大家上午好，很高兴能跟大家相聚在美丽的大亚湾讨论大数据。记得上一次还是在云南讲的云计算。
我们已经处在大数据的时代。这一点毫无疑问也毋庸置疑，大数据已经深入到我们生活的边边角角，在无形之中影响着我们的生活，谷歌利用大数据预测流感的传染趋势，百度地图利用大数据预测你回家的时间。淘宝根据大数据来分析用户的消费行为，等等等等。我们观察世界的角度已经大大不同于十几或者几十年前，这几年我们已经非常习惯大数据技术带来的便利了。
但是大数据在工业领域远远没有像在互联网领域那么光彩照人，大家隐隐约约都知道大数据在工业领域一定有用，但是又有一种微妙的感觉，那就是不知道该怎么落地。我们一直以来作为国内电力行业信息化的领跑者，我们也在电力工业大数据的应用方面比较早的进行了一些摸索和探寻，那我们今天就简要的给各位专家汇报一下我们在核工业领域和火电领域对大数据技术应用的一些案例，起到一个抛砖引玉的效果。
首先我介绍一下大数据和工业大数据的联系与区别，然后介绍一下我们在工业大数据方面的一些探索，包括在大数据平台方向和大数据分析方向的一些研发成果，最后再介绍我们在核电领域和火电领域方面的几个典型的应用案例。
几千年前以来人们观察和了解世界的方式就是发现事物之间相互联系、相互作用的运行规则和原理，物理上的、化学上的，像热力学的定律，核裂变的规律，人们通过建立机理模型对这些事物的规律进行描述，以达到预测的目的，我们称之为机理分析，也就是对我们的观察到的世界进行建模，伟大的科学家建立了非常精密的机模型来模拟我们看到的事物的运转规律，我们可以非常精确的预测下一次日食和月食的时间，然而我们却很难预测一根锅炉管的寿命，虽然我们现在对于奥氏体不锈钢、马氏体不锈钢的高温蠕变的机理研究的很透彻，但是还是很难预测锅炉管的寿命。所以说有一些事情是不能完全用机理分析方法来进行分析的，比如设备的寿命，产品合格率，这些事物的规律受到随机因素影响，于是我们有了另外一种对现实世界建模的方式，那就是就是数理分析，以概率论为基础，通过历史数据建立数学模型，发现数据之间的关联关系，再研究这个事物特点，性质和规律性。数理分析在最近的几百年间发展起来，拉普拉斯和贝叶斯做出了重要的贡献，只是过去只能靠手工计算，数据获取困难，没有得到长足的发展，近几十年以来数据获取越来越容易，计算速度也越来越快，数据存储的容量也越来越大，数理分析就快速的发展起来。
任何一个复杂的系统不管是火电还是核电，还是其他的工业系统都包含了一定的物理、化学上的规律，同时也一定包含有随机现象的规律，因此我们认为一个理想的系统一定不是孤立的进行机理分析或者数理分析，而是对两者做一定的结合，实现某一个功能。很多人一说到大数据就会认为大数据只分析关联关系，而不分析因果关系，在《大数据时代》一本书里面，作者也提到这一点。我认为这个在商业上，互联网领域等一些与人打交道的领域里面也许可以行得通，但是在工业领域，我们与机器打交道，就必须要既考虑到数据的关联关系，同时也必须要考虑到因果关系，也就是机理关系。
那么我们搞工业大数据的目的是什么呢？我们知道确定性是发电系统以至于所有的工业系统本身能够有效运行的基础，而发电系统又存在太多的随机性和不确定性，我们做搞工业大数据的核心目的也就是尽量的减少这些不确定性，能够在事前提前预测某些事件发生的时间点和影响情况，能够在事后通过数据对事件发生的原因进行分析。
那么工业大数据与大数据到底是一种什么样的关系呢，我们都知道科学可以分为社会科学和自然科学，社会科学研究与人类相关的各种现象和规律，自然科学研究与自然界相关的各种现象和规律，我们姑且也将大数据做这么一个二分法，分为与人类社会相关的大数据，和与自然界以及机器相关的大数据，前一种数据主要就是商业的和互联网的数据以及政府部门统计的数据，工业大数据主要指的是后一种，而且工业大数据是以机器数据作为主体的，其余的一些环境数据、地理信息等等这些都作为工业大数据的辅助数据，但主要还是机器数据。这些数据类型包括了 时序数据、时空数据、多维矩阵数据等各种类型，其中以时间序列数据为主，时序数据处理的一个很大的要求就是实时性，如果计算过慢，等你计算完成，数据已经失去它存在的意义了，这样也就没什么用处了，工业大数据这个特点决定了我们对计算速度的要求。工业大数据另一个特点就是采样密集，像我们要做一个振动的分析，数据采集的频率可以到几十hz甚至几百hz，一般的时序数据也是几秒钟采集一个。这一个特点也决定了工业大数据的数据量是非常大的，可以说是海量高速的产生数据。在一个特点就是来源多样，现场有各种各样的传感器，温度、压力、流量、浓度等等，这些传感器所在的环境都比较恶劣，因此这个特点也决定了工业大数据的数据质量是不高的。所以我们总结了工业大数据的几个特点，实时性要求高，数据海量，数据质量不高。
那么我们针对工业大数据的这几个特点，也是有针对性的研发了大数据平台，我们叫做ECP平台，基于这个大数据平台之上我们开发了很多的业务系统，核电和火电的，可靠性管理、大修管理的、设备状态预警的，，因为你不管上层的业务要做什么，底层的数据处理是通用的一些模块和组件，那么我们的大数据平台采用数据+模型=服务的体系，这里的模型既包括了机理模型，也包括了数理模型，还包括了一些专家经验知识。现在互联网都到了卖数据的时代，但是我们主要还是卖模型。以数据为基础，以模型为核心，来给我们的核电、火电、等等提供一些设备管理的应用、大修管理的应用、故障诊断的应用，等等。当然我们的平台这里面还包括了很多的组件和工具。
因为平台比较庞大，这里重点介绍一下与工业大数据的特点对应的几个部分，首先针对工业数据质量不高的特点介绍一下我们平台在工业数据的治理方面的一些想法，针对海量数据我们研发的基于hadoop架构的时序大数据库，最后针对实时计算我们提出的基于弹性计算的任务调度。
工业大数据的数据治理与一般的商业大数据的治理是联系的也是有一定的区别的，比如大数据治理方面的数据标准制定、元数据、主数据管理等等这些都与商业大数据没有太大的区别，但是另一方面因为我们刚才讲到工业大数据主要的是机器数据、也以实时数据为主，那么我们的数据治理核心的思考有两个方向，一个是数据方向，我们要思考我们需要的数据有没有，也就是有没有这个传感器，和分析仪器，获取这个数据，在一个就是数据对不对。是不是明显的超出了物理化学的定律，或者我们设备的特性。你如我们看要一个在核电的运行中看到主汽温度是650，那一定有问题了。另一个方向就是业务导向，我传过来的数据是不是真实的反应了现场的情况，当然传感器再多也不可能完全无缝的反应真实的物理状态，我们能做到的只能是近似，我们只能是在数据获取的需求和成本两个方面取得一个平衡。在一个就是传过来的数据的到底有没有用，是不是满足我业务分析的需要。
那这里给大家举一个简单的数据质量控制的小例子，我们可以用一个简单的正态分布的分析就能检测绝大多数的模拟量的测点是不是正常。因为我们都知道自然界产生的数据基本上都是符合正态分布的，也就是钟形曲线，也就是就像一个班级学习成绩好的和不好的都分布在两头占少数比例，而成绩一般的同学占了绝大多数，我们设备传感器传过来的模拟量数据也是符合这种正态分布的，极大值和极小值 都是占比较少的比例的，我们可以设置几个西格玛来分析这些模拟量是不是符合正太分布，也就能检测出那些测点的数据存在一些问题。
第二点我要讲一下数据的存储，关于数据的存储大家可能会有疑问，昨天的展会上有一个朋友还说，你们怎么可能会自己做一个数据库，他持有非常怀疑的态度，但是我这里想讲的是，我们开发这个时序大数据库也是被逼无奈，为什么呢，我们都知道现在市面上有很多的时序数据库来存储时序数据，那我们为什么不用呢，我这里不是说他们的数据库不好，而是无法满足我们的需要，传统的时序数据库都是在10几年前发展起来的，10几年前现场的测点就已经很多，测点刷新频率就已经很快，当时的设计理念就是尽可能快的写入大量的测点的数据，存起来，但是当时的对于数据的应用确很少，很少遇到大规模的数据读取，所以传统的时序数据库主要进行了写入方面的优化，而这些时序数据库在读取数据方面的能力都没有很特殊的优化，现在我们在大数据分析的应用方面需要却是需要 一次性读取大量的历史数据来训练我们的模型，比如我们要一次性读10个测点一年全量的历史数据，这个需求基本上就会把传统的时序数据库拖垮，我们找遍了整个业界，也没有找到一个专门为了读进行过特殊优化的数据库，因此我们设计了基于hadoop架构的时序数据存储，比较早的，测点数量是可以达到千万级别的，我们第一个应用的领域就是在金风风电，它哪里有全球几万台风机的数据量，普通的数据库根本就没发支持到这么大的数据量。采用分布式的方式进行数据的读写，因为是多台机器同时读写，这大大的提高的数据的读写能力。下面是我们读写能力与业内比较出名的时序数据库的读写对比，我们会发现在读写单个测点的数据时，并没有太大的优势，但是在十个测点一年数据的读取，和五万个测点一天数据的读写，能力是大大超出普通的时序数据库的。
第三个方面就是我们弹性调度计算。调度计算不就是分配计算任务嘛，我们面临两个问题，第一我们要计算的足够快，第二就是计算模型的编写可能会有不同的语言，有的科研机构喜欢用M语言，而有的大学老师又喜欢用R语言。因此我们设计了基于弹性计算的任务调度，首先它的计算资源可以根据需要进行扩充，这样可以充分的保证计算速度。第二我们使用AGENT代理模式，支持多种语言的模型运算。
这是我们关于大数据平台要跟大家汇报的，里面还有的一些设备信息模型、一些建模的工具和组件，受时间限制我就不一一介绍了。
下面我给各位领导汇报一下我们大数据平台在核电和火电领域的一些应用的场景。
首先是我们在核电领域设备可靠性方面的一个应用，那这个我就不详细的讲了，第一天的韩厂长讲的已经非常精彩了，这里面在我们大数据的底层的应用上来说主要还是一个时序大数据库的应用。在业务层面上的应用我们在里面还有两个数据分析方面的应用，其中一个设备状态预警，另一个发电功率与海水温度的拟合预警，设备状态预警的这个主要的一个原理呢就是的利用机组运行的历史的正常的数据对模型进行一个训练，训练过的模型就能够知道在什么样的工况下，这个参数应该是一个什么样的值，我们称作评估值，那么这时候把现场的实时数据代入进来，这个实时值和评估值就会有一个差距，如果这个差距超过一定的范围，那我们认为这个参数已经偏离的正常的运行轨迹，进而实现一个参数的预警，这个提前量我们实施的案例又提前超过3个月的案例，是火电厂一台风机的振动参数，提前三个月发现的异常，但是当时还是能够运行的，到检修的时候拆开发现轴上缠上一些异物，另外一个预警发生是某一个设备的温度测点发生异常，后来专工去检查，发现是因为机房的一个窗户没有关闭，当时是冬天。
那么我们在核电的一个主要的应用就是主泵密封性的一个预警，我们对主泵的密封性相关的测点进行了建模，在实际的运行过程中，2016年的5月份发生了一个报警，但是当时DCS并没有到达阈值，所以并没有产生报警，到了7月25日DCS才产生了报警，所以我们基本上可以提前2个月能够预知问题的发生。
第二一个就是发电功率与海水温度的拟合预警，这个其实主要是对机组运行的效率的长期的预测和分析，我们都知道核电最关心的是安全，对于经济性基本上不考虑，当然可控的参数也几乎没有。不想火电机组又可控耗差，看那不好了调整一下。我们做这个一是可以了解机组当前的一个经济性水平，是不是在合理的区间之内，那么我们看到这个黑色的实线是一个设计值拟合曲线，蓝色的线是我们通过包含了各类工况的历史数据拟合的一条优化曲线，虚线是一个经济型的范围，在虚线范围内我们认为是一个经济性较好的状态，超出了这个范围，那就是一个较差的状态。另一个就是看一下机组性能长期的一个劣化趋势。我们可以看到这个图从2014年到2016年底，整个残差的变化趋势是越来越大的，也就是意味着机组的性能偏离正常值越来越远。
在一个就是我们做的这个RCM系统，设备故障诊断，那么这个系统主要是应用了规则导则的推理，也就是我们把一些机理性质的故障整理成为一些规则导则，做成一些if then else的规则表达式，这些表达式可以非常复杂，通过推理机的推理来实现对故障的报警的判断。这个方式我们在后面的一个火电的案例里面也会进行一个介绍。
那么我们再来看我们在火电行业的一些个应用的案例，首先是在节能分析和诊断上，那么我们都知道火电的节能分析面临两个较大的难题，一个就是工况的划分以及与当前工况的匹配，不匹配工况的节能分析都是没有实际的意义的。传统的工况划分就是手工划分，按照负荷的百分比或者按每多少MW划分一个工况段。这种划分手段往往比较生硬，与实际的运行工况也差距较大，那我们采用的方法主要是利用工况参数的历史数据进行聚类，比如我又两个工况参数，一个是负荷一个是循环水入口温度，当然也可以是环境温度，每个参数我们拿一年的历史数据，做5组聚类，这样我们既可以得到5的5次方个工况，这远远比人工划分的工况精确的多，当然，我们在这样聚类完了以后，会出现一些个臆想工况，就是实际运行的的时候不可能出现的，那么我们再机上一些机理性的规则对这些工况进行二次筛选。第二一个就是目标值的确定，其实有了工况的划分，我们目标值就比较容易确定了，我们可以代入几年的历史数据，在历史数据中取寻找某个工况的最优值，这样就比较又参考意义了。
在火电方面的大数据的另一个应用就是璧温的检测，大家也都知道火电里面爆管占了非停的很大的比例，而现在火电机组蒸汽参数越来越高，对锅炉璧温的监视也是一个很重要的方面，现在一些新型的机组锅炉管上的璧温测点可以形容为密密麻麻了。那我们总这张图上也可以看到一个高再的一根管子上就是96个测点一屏就是960个测点，这个数据量过来是很惊人的。那我们对着温度测点一方面是设置阈值的报警，另一方面就是在数据统计的方面计算他们的一些中位值、交变率、异动系数，对这些数据进行一个监测。主要可以对一些局部的受热不均匀，温度变化率异常进行一些报警。这个在后台同样也是用到了我们的大数据时序数据库，能够快速的读取几千个温度测点的数据，快速的在页面进行一个展示。
在一个就是凝汽器的一个运行特性曲线的拟合，这个和刚才讲的那个发电功率和海水温度的基本上类似的。这里主要是对冷却水的进出口温度和 汽轮机排气温度和凝结水的温度进行了一个拟合，主要也是确定一个经济型较好的一个区间。
在一个就是基于规则的导则的 故障判断，这个和刚才讲的RCM那个原理是一样的， 首先我们专家梳理了一些故障树，这里我们看到的是一个凝汽器的性能的故障分析树，然后针对树上的每个节点进行一个规则的梳理，类似我们图上这个低过的一个温差偏大的故障，我们的一个规则。这些规则模型可以和我们上面讲的那个算法模型进行一个校验。
最后一个就是在环保方面的，我们现在正在做的一个就是石灰石浆液循环泵的运行优化，浆液循环泵一般情况都是三主一备 。大家都知道浆液循环泵在环保设备里面是最耗电的，并且不管机组负荷什么样子，煤质什么样子，他都是满负荷运行，而且不能变频，造成脱硫厂用电很高，那我们现在在做一个事情就是利用负荷和煤质（主要是媒含硫量）的一个数据来对浆液循环泵的运行进行组合优化，在负荷较低的情况下组合开关循环泵，达到一个降低常用电的效果。
最后我们想说，类似的像刚才讲的这些在工业大数据分析领域的案例非常多，但是这些成果都少不了我们的客户，也就是甲方在业务方面的一些知识和我们最擅长的大数据技术的结合，我也希望把我们的最擅长的工业大数据分析技术和在座各位领导专家所最擅长的业务进行一个结合，碰撞出更多更美的火花。套用一句很俗套的话，我有酒，你有故事吗？？ 谢谢大家！！