C3-1.3.1 无监督学习——异常检测

C3-1.3.1 无监督学习——异常检测

1、举例:异常值检测示例——密度评估法

1.1 举一个例子

C3-1.3.1 无监督学习——异常检测_第1张图片

这里做的是 查看飞机发动机 异常检测:

  • 左侧:X1 ,X2 … 是 可能会影响发动机状态的特征
  • 右侧:
    • Dataset:训练数据集
    • New engine :利用新发动机的数据来检测新建造出的发动机是否异常

C3-1.3.1 无监督学习——异常检测_第2张图片

  • 这里只拿出来两个特征值(X1 , X2)来举例,为了可视化让我们了解的更加方便,实际应用中 特征的数量可能达到上百 / 上千

  • 最外层蓝色圈内的:说明的大概率的,是正常的

  • 最外层蓝色圈外的:是小概率发生的事件,要进行进一步的检查

  • **P(X):**这里通过训练集建立完成 模型 P(X)后,用训练集数据 X-test 来判断结果 P(X-test):是否是状态异常的发动机

  • **ε的值:**即最外圈蓝色框的概率的值

1.2 构建过程

  • Step1:

    **特征的提取,**找出能够判断是否异常状态的特征——这里用的特征是:飞机发动机的热度X1,发动机震动频率X2

  • Step2:

    ​ 通过训练集的数据拟合出一个 模型——P(X)。

  • Step3:

    ​ 通过输入的数据 X (X可能是一组向量),得出概率值 y = P (X)。

    ​ 如果:P(X) < ε (设定好的门槛值,这个值通常很小),就说明发生异常

C3-1.3.1 无监督学习——异常检测_第3张图片

2、应用的算法:高斯正态分布

※※ 【核心】:高斯正态分布——很好的解释了:

  • 上图中三个蓝色圈的由来 ? / 代表什么? /为什么要画这三个圈不是四个?
  • P(x) Model 怎么拟合出来的?
  • ε的值的也由来?

2.1、正态分布函数 / 高斯正态分布

  • 3个蓝圈: 在 异常举例中,我们给出了3个蓝圈,其实每一个圈分别代表下面的三个分布的范围**(u± δ、u± 2δ、u± 3δ)**

  • **P(x):**也就是对应的高斯正态分布函数

  • **ε的值的也由来:**为什么在 P(X)超过了 u - 3δ < P(X) < u + 3δ 的范围就认为他是异常值,因为在 u - 3δ < P(X) < u + 3δ 的范围(达到了99.7%)之外 的概率确实太小了。 ε =u± 3δ

C3-1.3.1 无监督学习——异常检测_第4张图片

u - δ < P(X) < u + δ

C3-1.3.1 无监督学习——异常检测_第5张图片

u - 2δ < P(X) < u + 2δ

C3-1.3.1 无监督学习——异常检测_第6张图片

u - 3δ < P(X) < u + 3δ

  • 均值u 的算法:

    • C3-1.3.1 无监督学习——异常检测_第7张图片
  • 方差δ的算法:

    • C3-1.3.1 无监督学习——异常检测_第8张图片
  • 这个 “钟形”的概率分布的面积是 1。也就是说:

    • 标准差δ越小,意味着大多数变量值离均数的距离越短,因此大多数值都紧密地聚集在均数周围,图形呈现**“瘦高型”**
    • 相反,标准差δ越大,数据跨度就比较大,分散程度大,所覆盖的变量值就越多(比如1±0.5涵盖[0.5,1.5]),图形呈现**“矮胖型”** ——如图四

    C3-1.3.1 无监督学习——异常检测_第9张图片

2.2 高斯分布的应用

  • Step1 :通过训练集数据,进行散点分布在X轴上(这是训练其中的一个特征):

C3-1.3.1 无监督学习——异常检测_第10张图片

  • Step 2 : 正态分布的使用,进行X -> f(x)的映射:

C3-1.3.1 无监督学习——异常检测_第11张图片

  • Step 3 :利用高斯分布进行 异常值的检测:

C3-1.3.1 无监督学习——异常检测_第12张图片

3、实现流程:异常检测算法实现流程

3.1、算法实现步骤

  • Step1:
    • 选择可能影响最终结果——是否异常 的特征的选择
  • Step 2:
    • **拟合模型,**训练每个特征向量对应的参数 —— u ; δ
  • Step 3:
    • 通过输入测试集数据x-i,计算最终结果 P(x)

C3-1.3.1 无监督学习——异常检测_第13张图片

※P(X)是连乘得出的结果,是不同特征的特征值X 对应的P(X-i) 连乘 的结果,是每个特征对结果——异常检测的共同的影响

※P(X-i)中一旦有一个结果是不正常的——导致P(X-i)是特别小的数值——导致最终结果P(X)是特别小的数值——导致P(X)< u± 3δ ——得出结果是 异常点

C3-1.3.1 无监督学习——异常检测_第14张图片
ra%5Ctypora-user-images%5Cimage-20231101205906650.png&pos_id=img-QDV3Mm35-1704850973901)

【补充】:

  • 均值 u的算法:

C3-1.3.1 无监督学习——异常检测_第15张图片

  • 方差δ的算法:

C3-1.3.1 无监督学习——异常检测_第16张图片

C3-1.3.1 无监督学习——异常检测_第17张图片

3.2 异常值检测实例

  • Step1:
    • 选择可能影响最终结果——是否异常 的特征的选择
      • 这里是做 飞机发动机异常检测,保留了两个特征:
      • X1:发动机热度
      • X2:发动机震动频率
  • Step 2:
    • **拟合模型,**训练每个特征向量对应的参数 —— u ; δ
      • 计算得出 阀值 u± 3δ = ε = 0.02
      • 把 X1 ,X2 ,概率P 画在了三维图像上
  • Step 3:
    • 通过输入测试集数据x-i,计算最终结果 P(x)
      • 从图中可以看出:
      • X1-test :是正常值的状态
      • X2-test :是异常状态,发生概率 P(X) < ε ,需要进一步对发动机做检测

C3-1.3.1 无监督学习——异常检测_第18张图片

4、模型微调:运用少量标签数据 改进算法的必要性

4.1、文章核心思想

【本节核心句子】: it’s turns out to be **very userful for turning(调整) the algorithm if you have a small number of anomalous examples so that you can create a cross validation set and a test set **,which i’m going to denote (x-cv(1),y-cv(1)) 、(x-cv(2),y-cv(2)),and have a test set of some number example where both the cross validation and test sets hopefully includes a few anomalous examples

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

4.2、应用的例子

  • 给出了 10000个正常的数据 和 20个异常 / 瑕疵数据

  • 给出两种方法去进行模型的训练

  • 方法一:

    • 测试集用:6000个好的
    • 交叉验证集:用2000个好的 和 10 个异常数据——进行模型的微调,调整ε的值和特征的选择
    • 测试集:用2000个好的,和10个异常数据——来判断模型的泛化能力
  • 方法二(当数据及其不平衡的时候使用最好)(这时是有10000个好的,2个坏的):

    • 测试集用:6000个好的
    • 交叉验证集:用4000个好的 和 2 个异常数据——进行模型的微调,调整ε的值和特征的选择。

    缺点:不能测试模型的泛化能力,无法评估

【注释】:

这不是监督学习,因为没有进行数据的标记,这里的 好数据6000 和瑕疵数据 20 都是我们假设(原文是 Assume labeled)的

—— 引出了下文,那你都是认为是假设标记了,那为什么直接标记,所以为什么不使用监督学习呢????

C3-1.3.1 无监督学习——异常检测_第19张图片

5、什么时候使用监督学习,什么时候使用异常检测

5.1 监督学习 VS 异常值检测

  • 异常值检测:

    • ※※※应用于检测目标的异常值 可能是以前没有学到的,不像任何 一个训练集给出的异常值例子
    • 适合 具有 少量异常值大量正常值 数据量
  • 监督学习:

    • ※※※测试集中的异常值,和我们以前学习的样本有些相似之处
    • 适合 具有 大量异常值大量正常值 的数据量

C3-1.3.1 无监督学习——异常检测_第20张图片

5.2 举一个例子

  • 异常值检测的例子:

    ​ 比如说电信诈骗:诈骗手法层出不穷,我们模型学习完以前的诈骗方法,但是他三天 / 几个月之后 又出现了新的咋骗手法,总是和出新的,和以前不同——这个时候就要使用**“异常值检测”**

  • 监督学习的例子:

    ​ 比如说 垃圾邮件检测,经历了30多年,垃圾邮件无非是那几类:钓鱼网站,推销产品,诱导消费…

    我们可以学习以前的一些例子,然后通过检测测试集的例子,总会发现有一些相似之处——这是就要使用**“监督学习”**法

C3-1.3.1 无监督学习——异常检测_第21张图片

6、选择使用什么样的特征

  • 在监督学习中:就算我们选择了一些额外不相关的特征,我们也不受影响,因为有——特征放缩
  • 在异常值检测中:对于未标记的数据,这就显得比监督学习 尤其的重要了

6.1 如何选择

【※※※核心】:

  • 选择的特征 或多或少 符合 高斯分布/正态分布

  • 如果要不符合高斯分布,就把他改成高斯分布

  • 一些异常的数据可能也会有较高的()值,因而被算法认为是正常的——需要进一步分析并找出特征

选择方法一:符合高斯分布的特征情况:

以特征X举例,在画布上画出X特征的分布,这里的X特征就 比较符合 “高斯分布”——这就是一个很好的候选特征

C3-1.3.1 无监督学习——异常检测_第22张图片

  • 不符合高斯分布的特征的情况——变成符合:

    • 首先是判断,我们是否真的需要这个特征变量

    • 如果真的需要,那我们进行进一步的转变,变成符合高斯分布的特征

通过 log(x)函数 ,变成了符合正态分布的情况。

C3-1.3.1 无监督学习——异常检测_第23张图片

其实还有许多变化的方法:

​ 常用的将数据转换成符合高斯分布的方法包括对数变换(log transformation)、平方根变换(square root transformation)、Box-Cox变换等。这些变换可以使数据更加接近正态分布的形态。

​ 如果数据中存在明显的异常值,那么将其转换成符合高斯分布的形式可能会使得异常值更加明显,从而更容易被检测到。

C3-1.3.1 无监督学习——异常检测_第24张图片

[^]: (注:在python 中,通常用np.log1p()函数,1就是 ( + 1),可以避免 出现负数结果,反向函数就是np.expm1())

实例实施过程:

C3-1.3.1 无监督学习——异常检测_第25张图片

C3-1.3.1 无监督学习——异常检测_第26张图片

选择方法二: 从学习不好的结果中进行进一步选择特征

【核心】:

一个常见的问题是一些异常的数据可能也会有较高的()值,因而被算法认为是正常的。这种情况下误差分析能够帮助我们 ——我们可以分析那些被算法错误预测为正常的数据,观察能否找出一些问题。

  • 正常我们选择完成 交叉验证集 验证,发现有一些数据(这里对应的X蓝色坐标点)看起来很正常( 有较高的P(x)),但是是异常数据——怎么才能解决这个问题呢???

C3-1.3.1 无监督学习——异常检测_第27张图片

  • 这时候就需要找出其他特征,根据其他特征一起来进行判断会更容易——他虽然在X1(这里指发动机 温度)的特征上表现得正常,但是在我们没有选中的X2 (这里指发动机震动频率)的特征上表现得异常。所以还需要选择特征X2,然后结合X1 X2,把X1 X2他们组合起来进行一起来判断。

​ 这也是交叉验集微调的过程

C3-1.3.1 无监督学习——异常检测_第28张图片

6.2 举例

C3-1.3.1 无监督学习——异常检测_第29张图片

你可能感兴趣的:(机器学习,深度学习,人工智能)