模式识别 —— 考试复习

模式识别 —— 考试复习

贝叶斯估计

meanshift中parzen窗的使用

初始化：
选择一个初始点作为Parzen窗口的中心。

选择一个窗口函数$K(u)$，通常使用高斯分布作为窗口函数。设$h$为窗口函数的带宽参数。

核密度估计：
对于每个样本点$x_i$，计算其与目标点$x$之间的距离，即$d(x,x_i)$。

将距离$d(x,x_i)$除以带宽参数$h$，得到标准化距离$u_i=\frac{d(x,x_i)}{h}$。

将标准化距离$u_i$代入窗口函数$K(u)$中，得到权重$w_i=K(u_i)$。

样本点$x$的核密度估计函数值为 $\widehat{f_h}(x)=\frac{1}{n{h}^d}{\sum }_{i=1}^n{w}_i$，其中$n$为样本数量，$d$为数据维度。

如果使用高斯分布作为窗口函数，那么窗口函数为$K(u)=\frac{1}{(2\pi {)}^{d/2}}{e}^{-\frac{1}{2}|u{|}^2}$，其中$|u|$表示标准化距离$u$的模长。

计算mean shift向量：
将每个样本点按照其在窗口内的权重（即核密度估计函数的值）乘以从该点到窗口中心的向量得到一个向量集合，然后将这些向量相加并求平均得到mean shift向量。

移动窗口：
将Parzen窗口的中心移动到上一步中计算出的mean shift向量所指示的位置。重复上述步骤，直到Parzen窗口的中心稳定不变或达到预设的迭代次数，判断算法已经收敛。输出最终的Parzen窗口中心作为算法的聚类结果。

中间距离法

这个老师说要考那个公式的推导，推导如下：

在$\Delta$HJK中对于$\angle$ HJI即$\theta$进行余弦定理如下：

$$cos\theta =\frac{H{J}^2+J{K}^2-H{K}^2}{2HJ\times JK}=\frac{H{J}^2+\frac{1}{4}J{I}^2-H{K}^2}{HJ\times JI}（1）$$

在$\Delta$HJI中同样对$\angle$ HJI即$\theta$进行余弦定理如下：

$$cos\theta =\frac{H{J}^2+J{I}^2-H{I}^2}{2HJ\times JI}（2）$$

显然，1式与2式是相同的：

$$\frac{H{J}^2+\frac{1}{4}J{I}^2-H{K}^2}{HJ\times JI}=\frac{H{J}^2+J{I}^2-H{I}^2}{2HJ\times JI}$$

解得：
$$HK=\sqrt{\frac{1}{2}H{I}^2+\frac{1}{2}H{J}^2-\frac{1}{4}I{J}^2}$$

SVM中对偶变换

这是我们这学期的期末考试题，老师提前透露的。也是类似上面的推导，只不过要简单一点再。

就是如果目标函数不是$w^T{x}_i+b$而是$w^T{x}_i$，请进行对偶问题的转换。其实是变简单了，不用对b进行求导回代了。解法如下：