论文笔记：Adaptive event detection for Representative Load Signature Extraction

目录

1. 前言

2. 问题背景

2.1 相关研究回顾

2.2 负荷特征回顾

3. Proposed Methodology

3.1 Framework

3.2 Window with margin method

3.3 Adaptive Window to capture

3.4 Multi-timecale window screening

3.5 Threshold Updating

3.6 Load signatures and Sequential LS Tree

4. 小结

---

1. 前言

        本文是对以下论文的解读笔记。注意在下文中“该论文/本论文”和“本文”是指向不同的对象。

arXiv2107.11287: Adaptive event detection for Representative Load Signature Extraction, Lei Yan, Wei Tian, Jiayu Han, Zuyi Li

        作者是来自于Illinois Institute of Technology的华人教授李祖毅团队。

        论文标题中虽然包含Load Signature Extraction，但是本论文侧重点是在事件检测上，只不过事件检测是为符合特征提取服务的。以下也仅介绍本论文中关于事件检测算法的部分。

2. 问题背景

        NILM基本策略分为两大类：event-based strategy, non-event-based strategy.

        后者基本上是基于稳态特征来进行负荷分解，像NILMTK的示例中给出的CO和FHMM等算法就属于这一类，主要用于只有低采样率数据的条件下。但是暂态特征包含了比稳态特征更具分辨能力的特征，而要提取暂态特征就需要采用event-based策略，这也代表了当前NILM研究的主流。事件检测和暂态特征提取需要高采样率的数据。

        自然而然地，事件检测就是event-based NILM的第一步。事件主要指的就是电器投切，当然也有一些有多个工作状态的电器，这些电器在工作状态之间的切换（speed adjustment, mode change etc. 比如说空调在制热模式与送风模式之间的切换,吹风机的不同转速的切换，等）也是典型事件。

        单个的电器的投切或状态转移的事件比较容易处理。但是，实际的家庭负荷环境非常复杂，主要的挑战来自于Concentrated use(e.g., in the morning and evening,早晚高峰时期的集中使用)以及High diversity(电器种类多样),具体用电状况包括但不限于以下一些特征：

1. High fluctuation,稳态的功率波动（standard deviation）非常大
2. Long transition,存在一些过渡时间很长的情况，特别是当负荷超出了额定负载的条件下（比如说洗衣机中衣物重量超过了它的标称容量），电器的投切过渡时间会变得很长
3. Near Simultaneity,多种电器同时或者接近同时发生状态转移，导致多个事件发生的间隔非常小，因此难以区分

        这种多变复杂的用电环境条件使得不具备自适应能力的算法模型难以处理。

        本论文提出了一种动态调整包括时间窗口、检测门限等参数的算法来对应上述的复杂多变的用电环境条件下的事件检测问题。

2.1 相关研究回顾

        论文回顾了一下一些相关的研究（具体内容这里就不一一介绍了，毕竟它们只是用来做反派的^-^）：

        Transient-passing step-change method

        Rule-based approach

        Window with margin method: 本论文的算法受此启发

        Statistical methods for change-point detection:

                GLR: Generalized likelihood ratio

                LLD-Max: log-likelihood ratio detector with maxima

                CUSUM

         Matched Filter method

         Cepstrum analysis method

      Hybrid method combining two auxiliary algorithms to handle false alarm caused by long transition and high fluctuation: 这篇是本论文作者团队之前的论文

        以上这些方法的缺点或局限性体现在：缺乏无监督学习能力、缺乏参数自适应调节能力、不能处理近同时(near simultaneous)事件，没有兼顾load-signature提取，等。下表是一个总结。这也就是本论文的算法所需要解决的问题。

        DNSE: dealing of near simultaneous event, 近同时事件的处理 

2.2 负荷特征回顾

        与图像和人类语音相同，电器设备有各自独特的负荷特征（load signature），体现在电压、电流、有功功率、and/or无功功率等的时序列波形上。负荷特征可以分为稳态特征和暂态特征两大类。另外，时间戳也能够提供一些关于比如用户使用习惯方面的辅助信息。如下图所示为广泛被各种文献采用的负荷特征的一部分（绝大部分？）。

        稳态特征的优点在于持续性(persistence)、稳定性(stability)、可加性(additivity)。有很多文献研究了基于稳态特征的负荷分解方法，但是稳态特征存在的一个问题是有些不同的电器可能拥有相近的稳态特征，而暂态特征就具有更强分辨能力(transients are more different and provide more deciding information than steady-state signatures)。暂态特征可以分为rectified form(R-form)和delta form(D-form)两大类,差异在于是否存在很大的过冲(whether the transient spike power goes far beyond the steady-state power).

        要利用暂态特征就必须能精确地检测出暂态事件发生的时刻，这就是事件检测的必要性。进一步，要确定精确的暂态事件时刻，就需要高频采样数据。

 

3. Proposed Methodology

        本文所提的算法名为WAMMA,全称Window with Adaptive Margin, Multi-timescale window screening and Adaptive threshold.其主要特征如下：

1. Window with margin method: 这个方法是来自于[F.Linda1999]，估计主检测窗前后的副检测窗的信号均值以便于进行自适应的检测门限调整，由此来解决high fluctuation所带来的问题。
2. 检测窗口的前后margin自适应地调整，以此解决long transition问题
3. 两种尺度的窗口扫描（macro/micro-timescale window screening），以此对付常规的检测窗口所无法对付的近near simultaneous事件问题

        此外，本算法不仅仅检测变化点（changepoint），还能够给出关于完整的过渡态的信息，以便于后续基于过渡态的load-signature分析和提取。

3.1 Framework

        如下图所示本算法应用的系统框架示意图。

        左半部分为本文所提议的WAMMA算法。右下为负荷特征提取部分，它利用WAMMA所提供的检测结果为输入。右上为应用部分，包括但不限于基于负荷特征的负荷分解以及基于负荷分解信息的应用。上部中央的左向箭头应该是指可以基于各电器设备的负荷信息合成出复合负荷功率(composite power signals)信号并用于相关研究和算法优化（？）

        前戏了这么久，终于突入本文最核心的要点^-^

3.2 Window with margin method

        这个方法不是本论文原创，最早是由[F.Linda1999]提出的。对主检测窗前后两个副检测窗的信号进行均值估计以便于进行自适应的检测门限调整，由此来解决high fluctuation所带来的问题。如果有小伙伴读过我之前的两篇论文笔记的话，应该能够想起来，这与那两篇关于双边CUSUM算法的论文中的平均窗口的概念是一脉相承的。但是在那两篇论文中只有主检测窗口前面的副窗口，这里是前后两个副窗口！

        检测变量如下所示： 

        其中， 表示观测数据， 、 分别代表左、右观测窗左右边界的样本值之差， 分别代表左右观测窗的样本均值。 代表左右观测窗的样本均值之差。 

        作为一个基本的判断准则，当 超过预设门限 时，即可以认为一个事件发生了。

        为什么这么说呢？如上图所示，中间的主观测窗对应的是事件发生的过渡态（暂态），而左右观测窗则分别对应着事件发生前后的稳态区间，左右两观测窗的稳态均值有显著的差异的时候，意味着功率发生了显著的变化，即某个或者某些电器发生投切事件或者工作状态转移的事件。当然，上图所示是一个概念展示用的比较理想的事件发生过程。左中右三个观测窗的窗宽、判断门限等是需要确定的参数，最重要的是如何确定左右观测窗是对应着稳态而中间又恰好对应暂态呢？欲知详细如何，且听下节分解。

3.3 Adaptive Window to capture

        如上一节所述，如何确保左中右三个窗口分别恰好对应着事件前的稳态、事件发生暂态和事件发生后的稳态呢？由于不同的电器设备、不同的工作状态之间的转移的暂态时长可能差异很大，采用固定的窗宽显然无法统一地对应短暂态事件和长暂态事件。太窄的观测窗可能会将长暂态事件识别为多个事件，而太长的观测窗则会降低对暂态事件发生时刻判断的精确度，精确地判断出整个暂态区间对于后续的load-signature的识别很重要。

        如下图所示为采用固定观测窗宽时可能出现的一些场景及其问题示例。

        在图(a)中，暂态变化沿出现在左观测窗的右边界，在图(b)中，暂态变化沿出现在右观测窗的左边界。在图(c)和(d)中，暂态变化的两个沿分别出现左或右观测窗的两个边界处理。

        “Window with margin method”的要点在于使得左、右观测窗都出现在稳态区间，这意味着满足以下条件： 

        上图所示的几种情况都不满足这一条件，因而会导致误判。

        本论文给出了一种适应性地调整窗宽及其位置的机制来解决这一问题。下图所示为一种调节情况的示例：

        假设，在上次窗口检测结束后检测窗口移动到了当前位置。其中左观测窗的左边界 对应上次检测的右观测窗的右边界 ,这是一个很自然的选择。这里不考虑前后两次检测的窗口overlap。

        如上图所示，此时，左观测窗口的有边界 处于状态转移区，因此不满足 的条件。所以，应该将 向左移动，直到可以认为整个左观测窗都处于稳态区。

         同样， 和 则需要相应地右移直到它们都处于稳态区。

         当然，仅仅靠 以及 还无法确保对应窗口处于稳态区，比如说，在上面Fig4-(d)中，虽然这两个条件得到了满足，但是很显然右观测窗恰好处于暂态区，这将暂态区发生时刻及对应区间的误判。所以上述两个条件只是必要条件而非充分条件。

        本文提出一种修改的CUSUM算法来检测是否真的有事件发生。将观测样点的一阶差分用于计算累计和(cumulative summation)以及变化趋势的判断。如下所述：

        如上式所示，当累计和 超过门限 即认为有事件发生，将 置1表示在时刻i发生事件，否则 置0.

        变化趋势排除了high-fluctuation被误判为事件的可能性。high-fluctuation可能会导致大的累计和，但是连续振荡会导致波形趋势的频繁转向。在这种情况下，数据样本的一阶差分的符号 将出现(+1)和(-1)交替,这一信息可以用来滤除由high-fluctuation导致的虚警。

        此外，部分过渡区间可能变化缓慢以至于单靠门限判决难以判断是否应该移动观测窗边界，变化趋势信息将给窗口边界移动提供辅助信息。在本论文中，如果负向变化符号在整个观测区间占60%以上，即便变化值本身小于门限，也会将右边界向右移动，直到变化符号和变化值两方面都满足条件。

        基于以上所述的调节机制，Fig4中的各种情况将会通过观测窗边界调整变为下图的情况：

 

3.4 Multi-timecale window screening

        如上所述，观测窗边界调整确保了左右观测窗都被调整到了稳态区间。但是，很有可能一段稳定区间很可能出现在一个长暂态区间的鞍部(saddle)，或者，多个电器设备同时在发生状态转换，如下图所示：

        本文提出了结合macro-timescale window screening(宏尺度窗扫描)和micro-timescale window screening(微尺度窗扫描)来出了这种由近同时事件或长暂态带来的问题。

        宏尺度窗扫描包括两部分。

        第一部分是在当前窗口位置的基础上再做一个margin探索检查变化趋势。如Fig7所示，这个暂态区间长度超过20秒，远远超过缺省设定的2秒窗宽。假定在经过调整以后，右窗调整到了大概1050~1150区间，此时再对如阴影部分所示的区间做一次窗口测试会发现其中一阶差分的符号为负的比率超过60%，据此将做出右观测窗还需要继续右移的判断。

        第二部分是。。。The second one is concatenation of near-simultaneous events. If the first event is classified to some appliance in a low probability in the following appliance identification step, it is very likely that two events are from the same long transition. In this case, the concatenated event will be inferred again to find out which appliance is changing state. The second component works well in conjunction with load disaggregation in a later stage. As this paper is mainly about event detection, it is not considered in the case study. [chenxy]老实讲，这一段没太明白作者在说啥。不过由于这一部分需要与后面负荷分解联合起来考虑，而且作者也没有在这篇论文中讨论其中细节，这里我也就顺坡下驴懒得转译了^-^. 

        微尺度窗扫描的目的在于利用变化和range(?)鉴别出发生时间相距很近的事件。在宏尺度窗扫描结束后，采用与左观测量宽度相同的观测窗（正常的中央观测窗宽度应该远远大于左右观测窗？）对当前中央观测窗从左到右进行扫描以检测疑似事件。如果存在疑似事件的话，NILM系统将会在后续的负荷分解环节基于各种电器的负荷特征去推断是否存在两个靠得很近的事件。当然，这（微尺度窗扫描）仅限于在两种情况下发挥作用。一种是存在high-fluctuation的情况，high-fluctuation很容易导致精细尺度上的判断出现虚警。另一种是事件重叠(event overlap)的情况，此时两个事件相隔事件很小以致于容易被误判为一个事件。

        微尺度窗扫描很难判断所检测到的时间是否是长暂态的一部分，或者说两个不同事件的重叠。因此，在NILM系统中，事件检测将不是完全独立地工作，而是需要与负荷特征联合应用于电器识别。如果存在两个靠得很近的事件，NILM将会识别第一个事件属于某个电器。如果识别失败，则会将整个暂态区间看作是一个事件。微尺度窗扫描确保在更精细的尺度上不会错过任何可能的事件，而负荷特征则确保检测出真正以提高NILM系统性能。由于本论文侧重点在于事件检测，因此，将每一个检测到的事件看作是一个独立的事件，而不去进一步区分是否是属于近同时的两个或多个事件。

        [chenxy]以上关于微尺度窗扫描这一段的逻辑，感觉没有get到作者的point，不是很有把握。。。还有待反复咀嚼确认。

3.5 Threshold Updating

        在没有事件检测到的区间，数据样本将用于均值(mean)和标准差(standard deviation)的计算。标准差反映了数据样点的波动程度。门限用于确定是否有事件发生，如果采用针对常规小波动条件下优化得到的固定门限的话，在数据波动较大因而标准差较大的时候容易发生判断错误。为了解决这个问题，考虑根据前述估计得到的标准差适应性地更新门限值。

        进一步，门限更新应该主要基于电器特性。在本论文中，在所有备测电器中洗衣机的功耗曲线有最大的波动(highest variation)。为了减轻波动带来的问题，当标准差的20%超过初始门限时，将门限更新为标准差的20%。

        [chenxy]一旦更新为新的门限后，当下一个时间段的标准差又变小了的时候，门限是否恢复呢？

 

3.6 Load signatures and Sequential LS Tree

        本节内容是谈负荷特征提取的。

        这个留待以后再讨论（真实原因是写累了。。。要歇一歇恢复一下元气^-^）

4. 小结

        以上所述的几个算法要点中，宏/微尺度窗扫描相关部分还有一些疑问。

        本论文所讨论的NILM系统，事件检测需要于负荷特征提取乃至负荷分解电器识别以相对紧耦合的方式工作，这个有利有弊。利在于紧耦合通常能导致更高程度的算法优化，弊在于算法的通用性（泛化能力）降低以及开发评估的难度加大。

        本论文的后半部分描述案例分析，在各种数据集上的对比测试性能bla-bla...留待以后再讨论（真实原因同上^-^）