Structured Energy Based Models for Anomaly Detection论文阅读

 本文是一篇基于Deep Structured Energy方法来进行异常检测的文章，该模型的主要特点是其可以通用到各种类型的dataset
上面，包括spatial data（音频序列）,static data（特定的输入向量）,sequential data（图像等）。该模型的训练算法是基于一种score matching算法，其是通过EBM网络连接了一个autoencoder来替代比较繁琐，计算量较大的复杂采样方法。本文提出了两套异常处理的检测准则——energy score和reconstruction error来作为误差评分标准。我们将主要从行文逻辑，算法理论，模型应用三个方面来对这篇文章进行梳理。

逻辑

 异常检测问题的核心是如何找到一个模型分布，比较有效地模拟数据自然产生的过程。从而来分辨我们所需要检测的样本是异常的概率。
 比起基础的PCA等传统算法，学术界更加倾向于使用深度学习的算法来进行异常检测，因为深度神经网络能够抽象出更多的特征。但是深度学习网络在异常检测方面还存在着如下的一些问题：
（1）如何利用一个深度学习模型有效地模拟数据的产生过程。
（2）如何构造一个模型能够比较广泛地应用于各种类型的数据（static data,sequential data,spatial data）
（3）如何构造一个比较高效的训练算法让其能够更好的应用。
（4）如何选择一个统计推理准则应用于异常检测。
 比较早提出的深度学习模型是EMBs模型，该模型应用了一种负对数概率$p(x;\theta )=\frac{e^{-E(x;\theta )}}{Z(\theta )}$来作为网络的能量来进行概率密度估计，但是EMBs的缺点一方面是$Z(\theta )={\int }_x{e}^{-E(x;\theta )}$是很难求的，其只能通过MCMC（蒙特卡洛马尔科夫采样方法，如吉布斯采样法）来进行求解。另一方面，提出的EMBs还不太成熟，对于不同的数据类型其要构造不同的算法和网络，比较复杂。
 后续有许多改进算法的提出，比如score matching算法，简化了用MLE 进行优化的计算部分。还有使用了VAE（变分编码器算法），相对于蒙特卡洛估计方法，VAE模型的计算更加简单一些，其只需要用简单的SGD模型来进行参数优化。

算法理论

EBMs

 EBMs算法已经在上面简单介绍过，其能量表述形式为：$p(x;\theta )=\frac{e^{-E(x;\theta )}}{Z(\theta )}$

RBM算法

 RBM算法采用了如下的能量表达形式：$$E(x;\theta )=\frac{1}{2}\Vert x-b^{{}^{\prime }}{\Vert }_2^2-\sum _{j=1}^{K}g(W_j^{T}x+b_j)\text{\hspace{1em}(1)}$$
其将W和b作为网络训练参数，利用多个RBM网络的组合可能能够获得比较好的训练效果，但是相比而言，RBM神经网络依然比deterministic neural network更加困难一些。

Denoising Autoencoders and Score Matching算法

 比较典型的Autoencoders优化如下算式：
$$\sum _{i=1}^N\Vert x_i-f(x_i;\theta ){\Vert }_2^2\text{\hspace{1em}(2)}$$
其中$f(;\theta )$是个reconstruction function
还有一种比较有趣的版本是：
$$\sum _{i=1}^N{E}_{ϵ}\Vert x_i-f(x_i+ϵ;\theta ){\Vert }_2^2\text{\hspace{1em}(3)}$$
这里给输入样本添加了一个高斯扰动。（$ϵ\sim N(0,{\sigma }^{2}I))$
DAE方法和RBM方法是有联系的，对RBM算法使用score matching算法进行估计，SM算法是MLE算法的一种替代，MLE是直接最大化样本的似然概率，而SM算法则是对如下误差函数进行最小化：
$$J(\theta )=\frac{1}{2}{\int }_x{p}_x(x)\Vert \psi (x;\theta )-{\psi }_x(x){\Vert }_2^{2}dx\text{\hspace{1em}(4)}$$
其中$p_x(x)$是x的真实分布，目前是不知道的。$$\psi (x;\theta )={▽}_x\log p(x;\theta )=-{▽}_{x}E(X;\theta )$$
$${\psi }_x(x)={▽}_x\log p_x(x)$$
总而言之，$J(\theta )$对我们的模型的概率分布和实际分布之间的差距进行了一个测量和估计，在$p_x(x)$假设为一个Parzen window density:$\frac{1}{N}{\sum }_{i=1}^{N}N(x_i;{\sigma }^{2}I)$时，若将$f(x;\theta )$定义为$f(x;\theta )=x-{▽}_{x}E(x;\theta )$那么（3）式和（4）式是等价的。此时若$E(x;\theta )$的形式如（1）所示，我们可以得到一个$f(x;\theta )$的具体形式：
$$f(x;\theta )=W\sigma (W^{T}x+b)+b^{{}^{\prime }}$$

Deep Structured EBMs算法

 Deep Structured EBMs 算法是将EBMs算法扩展到了深度结构上面，同时在底层网络进行了编码，以使其能够适用于多种结构，另外就是作者证明了
$$f(x;\theta )=x-{▽}_{x}E(x;\theta )\text{\hspace{1em}(5)}$$这个reconstruction error格式下可以比较容易地利用SGD进行训练。

全连接EMBs网络

 第一种介绍地网络格式是全连接格式的EMBs网络，其网络能量定义如下：
$$E(x;\theta )=\frac{1}{2}\Vert x-b^{{}^{\prime }}{\Vert }_2^2-\sum _{j=1}^{K_L}{h}_{L,j}\text{\hspace{1em}(2.1)}$$
$$h_l=g(W_l^T{h}_{l-1}+b_1),l\in [1,L]\text{\hspace{1em}(2.2)}$$
 上述定义之下的reconstruction error如下：
$$f(x;\theta )=x-{▽}_{x}E(x;\theta )=h_0^{{}^{\prime }}+b^{{}^{\prime }}\text{\hspace{1em}(2.3)}$$
$$h_{l-1}^{{}^{\prime }}=\frac{\partial h_l}{\partial h_{l-1}}{h}_l^{{}^{\prime }}=\sigma (W_l^T{h}_{l-1}+b_l)(W_l{h}_l^{{}^{\prime }})\text{\hspace{1em}(2.4)}$$
最初始的情况下$h_L^{{}^{\prime }}=1$可以利用上式进行递推求解。
并且L层时，其是对各个向量的一个求和，所以L层的导数$$h_L^{{}^{\prime }}=1\text{\hspace{1em}(2.5)}$$
(上述内容是论文本部分的叙述，但我认为有几处有点问题，首先是（2.4）式我认为应当写为：
$$h_l^{{}^{\prime }}=\frac{\partial h_l}{\partial h_{l-1}}{h}_{l-1}^{{}^{\prime }}=\sigma (W_l^T{h}_{l-1}+b_l)(W_l{h}_{l-1}^{{}^{\prime }})$$
其次，如果是要得到（2.5）的结论，那么（2.2）式的范围应该是$[1,L-1]$。作为著名论文，应该不可能出现这样的错误，可能是我的理解有误，还望大家指点。）

循环EBMs网络

 循环EBMs网络的输入是一个T长度的序列，每一个序列是一个有d个属性的特征向量。论文当中只是用$W^t$,$b^t$,$b^{{}^{\prime }t}$来提到（1）式当中的$W$,$b$,$b^{{}^{\prime }}$，在每一步更新过程中，只是更新$b^t$,$b^{{}^{\prime }t}$
其中：
$$h^t=g(W_{hh}{h}^{t-1}+W_{hx}{x}^t+b_h)$$
$$b^t=W_{bh}{h}^t+b$$
$$b^{{}^{\prime }t}=W_{b^{{}^{\prime }}h}{h}^t+b{}^{\prime }$$
整个能量的更新依然可以采用SGD策略进行参数更新。

卷积EBMs网络

 卷积神经网络的输入是一个$d_{l-1}\ast d_{l-1}$的$K_{l-1}$通道的矩阵（模拟图像输入），所以卷积神经网络需要通过卷积层，池化层以及全连接层的配合操作来进行训练。
文章中定义了它的卷积层的输出为：
$$h_{i,j}=g(\sum _{k=1}^{K_{l-1}}{\tilde{W}}_{i,j,k}\ast h_{l-1,k}+b_{l,j}),j\in [1,K_l]$$
其中$W\in R^{K_l\ast K_{l-1}\ast d_{\omega ,l}\ast d_{\omega ,l}}$这里的$K_l$涉及到网络之间的fliter个数的设定，而$d_{\omega ,l}$则是由卷积层和卷积规则计算而来的。大家可以自己参考论文和卷积的基本运算规则详细理解一下。
 我们同样可以仿照全连接层，得到如下一个递推关系：
$$h_{l-1,k}^{{}^{\prime }}=\sum _{j=1}^{K_l}[\sigma (\sum _{k=1}^{K_{l-1}}{\tilde{w}}_{i,j,k}\ast h_{l-1,k}+b_{l,j})\cdot (W_{i,j,k}\odot h_{i,j}^{{}^{\prime }})]$$
池化层的输出如下：
$$h_{l,k,p,q},x_{l,k,p,q},y_{l,k,p,q}=\underset{(p-1)d_p+1\le i\le p{d}_p,(q-1)d_p+1\le j\le q{d}_p}{\max }{h}_{l-1,k,j,l}$$
可以导出池化层之间的输出关系为：
$$h_{l-1,k,x_{l,k,q,p},y_{l,k,q,p}}^{{}^{\prime }}=h_{l,k,q,p}^{{}^{\prime }},p,q\in [1,d_l]$$

DSEBM-e和DSEBM-r

 这两个这是选取停止迭代的准则有所不同而已，本质上差异不大，停止准则分别是:
$$\sum _{t=1}^T=E(x^t;{\theta }^t)>E_{th}$$
$$\sum _{t-1}^T\Vert {▽}_{x^t}E(x^t;{\theta }^t){\Vert }_2^2>Erro{r}_{th}$$

总结体会

 这篇文章是一篇应用性很强的文章，其主要讲了如何在前人的RBM基础之上去利用能量构造深度学习网络并且进行训练。利用能量作为训练标准也有前人提出过类似的算法，这篇文章的主要工作是把这样的思路套用进了深度学习网络当中，理清了层与层之间如何“定义”能量，如何“传递”能量，从而构造出了基于能量的深度学习网络。
 这篇文章的主要难点之处在于理清网络与网络，各个层之间的能量定义和传递的思路，有一些计算需要再琢磨钻研一下，尤其是后面的循环神经网络和卷积神经网络，我认为大多数地方我已经大致知道作者的计算思路，但是也有些还尚未理清之处，并且不知如何写在博客之中，如果有兴趣可以一起讨论。
 本文还没有找到现成的相关代码，立个小的flag督促自己在2019年结束之前能够自己把这篇文章的代码复现一下，此外就是后面目录有几篇Vincent的论文，在学习过程中仅作仓促参考，感觉后续还应该好好去思考一下那几篇论文的行文逻辑和网络结构。