模式识别 —— 考试复习

模式识别 —— 考试复习

文章目录

  • 模式识别 —— 考试复习
    • 贝叶斯估计
    • meanshift中parzen窗的使用
    • 中间距离法
    • SVM中对偶变换

贝叶斯估计

meanshift中parzen窗的使用

模式识别 —— 考试复习_第1张图片

模式识别 —— 考试复习_第2张图片

初始化:
选择一个初始点作为Parzen窗口的中心。

选择一个窗口函数 K ( u ) K(u) K(u),通常使用高斯分布作为窗口函数。设 h h h为窗口函数的带宽参数。

核密度估计:
对于每个样本点 x i x_i xi,计算其与目标点 x x x之间的距离,即 d ( x , x i ) d(x,x_i) d(x,xi)

将距离 d ( x , x i ) d(x,x_i) d(x,xi)除以带宽参数 h h h,得到标准化距离 u i = d ( x , x i ) h u_i = \frac{d(x,x_i)}{h} ui=hd(x,xi)

将标准化距离 u i u_i ui代入窗口函数 K ( u ) K(u) K(u)中,得到权重 w i = K ( u i ) w_i=K(u_i) wi=K(ui)

样本点 x x x的核密度估计函数值为 f h ^ ( x ) = 1 n h d ∑ i = 1 n w i \hat{f_h}(x)=\frac{1}{nh^d}\sum_{i=1}^n w_i fh^(x)=nhd1i=1nwi,其中 n n n为样本数量, d d d为数据维度。

如果使用高斯分布作为窗口函数,那么窗口函数为 K ( u ) = 1 ( 2 π ) d / 2 e − 1 2 ∣ u ∣ 2 K(u)=\frac{1}{(2\pi)^{d/2}}e^{-\frac{1}{2}|u|^2} K(u)=(2π)d/21e21u2,其中 ∣ u ∣ |u| u表示标准化距离 u u u的模长。

计算mean shift向量:
将每个样本点按照其在窗口内的权重(即核密度估计函数的值)乘以从该点到窗口中心的向量得到一个向量集合,然后将这些向量相加并求平均得到mean shift向量。

移动窗口:
将Parzen窗口的中心移动到上一步中计算出的mean shift向量所指示的位置。重复上述步骤,直到Parzen窗口的中心稳定不变或达到预设的迭代次数,判断算法已经收敛。输出最终的Parzen窗口中心作为算法的聚类结果。

中间距离法

在这里插入图片描述

这个老师说要考那个公式的推导,推导如下:

Δ \Delta ΔHJK中对于 ∠ \angle HJI即 θ \theta θ进行余弦定理如下:

c o s θ = H J 2 + J K 2 − H K 2 2 H J × J K = H J 2 + 1 4 J I 2 − H K 2 H J × J I ( 1 ) cos\theta = \frac{HJ^2 + JK^2 - HK^2}{2HJ\times JK} = \frac{HJ^2 + \frac{1}{4}JI^2 - HK^2}{HJ\times JI} (1) cosθ=2HJ×JKHJ2+JK2HK2=HJ×JIHJ2+41JI2HK21

Δ \Delta ΔHJI中同样对 ∠ \angle HJI即 θ \theta θ进行余弦定理如下:

c o s θ = H J 2 + J I 2 − H I 2 2 H J × J I ( 2 ) cos\theta = \frac{HJ^2 + JI^2 - HI^2}{2HJ\times JI} (2) cosθ=2HJ×JIHJ2+JI2HI22

显然,1式与2式是相同的:

H J 2 + 1 4 J I 2 − H K 2 H J × J I = H J 2 + J I 2 − H I 2 2 H J × J I \frac{HJ^2 + \frac{1}{4}JI^2 - HK^2}{HJ\times JI} = \frac{HJ^2 + JI^2 - HI^2}{2HJ\times JI} HJ×JIHJ2+41JI2HK2=2HJ×JIHJ2+JI2HI2

解得:
H K = 1 2 H I 2 + 1 2 H J 2 − 1 4 I J 2 HK = \sqrt{\frac{1}{2}HI^2+\frac{1}{2}HJ^2-\frac{1}{4}IJ^2} HK=21HI2+21HJ241IJ2

SVM中对偶变换

这是我们这学期的期末考试题,老师提前透露的。也是类似上面的推导,只不过要简单一点再。

就是如果目标函数不是 w T x i + b w^Tx_i + b wTxi+b而是 w T x i w^Tx_i wTxi,请进行对偶问题的转换。其实是变简单了,不用对b进行求导回代了。解法如下:

模式识别 —— 考试复习_第3张图片

你可能感兴趣的:(模式识别,机器学习,聚类,算法)