基于VAE 利用重建概率的异常检测

1 VAE和AE的区别

AE 将输入变量直接编码成隐藏层变量，再解码成输出变量，VAE 也有编码和解码过程，但VAE将输入变量"编码" 成隐变量的分布，再从隐变量分布采样，将隐变量分布解压成输出变量的分布。网络学习目标变成使变量的分布函数逼近真实的分布函数，这个问题的求解需要采用变分方法，因此取名变分自编码器。

2 VAE 的loss 

摘要： 本文提出了一种利用变分自动编码器重构概率的异常检测方法，

https://www.cnblogs.com/asawang/p/10407551.html

VAE 提供了概率测量而不是重建误差作为异常分数，陈伟重建概率，概率比重建误差更有原则性和客观性，并且不需要模型特定阈值来判断异常。

VAE 和自动编码器之间的主要区别在于VAE 是一种可以提供校准概率的随机生成模型，而自动编码器是一种没有概率基础的确定性判别模型，因为VAE模拟分布的参数。

3.2 重建概率： 通过导出原始输入变量分布的参数的随机潜变量来计算重建概率，正在重建的是1输入变量分布的参数，而不是输入变量本身。这基本上是从近似后验分布中提取的给定潜在变量生成数据的概率。因为从潜在变量分布中抽取了许多样本，这允许重建概率考虑潜在变量空间的可变性，这是与AE的主要区别，可以使用合适数据的数据的输入变量空间的其他分布。对连续数据可以使用正太分布，二进制数据可以使用伯努利分布，在潜在可变空间分布的情况下，优选诸如各向同性正太分布的简单连续分布。这可以通过光谱异常检测的假设来证明，与输入变量空间相比，潜变量空间更加简单。

3.3 与AE的区别

重建概率与AE的重建误差有两种不同。首先潜在变量是随机变量。在自动编码器中，潜在变量由确定性映射定义，然而由于VAE使用概率编码器来模拟潜在变量的分布而不是潜在变量本身，因此可以从采样过程考虑潜在空间的可变性，与自动编码器相比，这扩展了VAE的表现力，即使正常数据和异常数据可能共享相同的平均值，变化也可能不同。据推测，异常数据将具有更大的方差并显示出更低的重建概率。由于自动编码器的确定性映射可以被认为是映射到狄拉克分布的平均值，因此AE缺乏解决可变性的能力。

其次重建是随机变量，重建概率不仅考虑重建与原始输入之间的差异，而且还考虑通过考虑分布函数的方差参数来重建的可变性，该属性使得能够根据变量方差对重建具有选择性灵敏度，具有大方差的变量将容忍重建中的大差异和原始数据作为正常行为，而具有小方差的变量将显著降低重建概率，这也是AE 由于其确定性而缺乏的特征。

第三，重建是概率测量，由于AE的异常检测使用重建误差作为异常分数，如果输入变量是异构的，则难以计算。为了总结异构数据的差异，需要加权和。 问题是没有一种通用的客观方法来确定适当的权重，因为权重将根据您拥有的数据而有所不同。此外即使在确定权重之后，确定重建误差的阈值也是麻烦的。没有明确的目标切割阈值。相反重建概率的计算不需要加权异构数据的重建误差，因为每个变量的概率分布允许它们通过其自身的可变性单独地计算。对于任何数据，11% 的概率总是1%，因此确定重建误差的阈值比重建误差更客观，合理且容易理解。