文献阅读01期：LMNN

[ 文献阅读 ] 今日好文Outline：20210522 - LMNN

所读文献：Weinberger K Q, 2009, Distance Metric Learning for Large Margin Nearest Neighbor Classification [1]

1.摘要&简介

• 针对KNN算法，将常用的欧式距离替换为马氏距离（Mahanalobis distance），提出新的目标函数，在MNIST数据集上进行测试，并将其命名为LMNN。

• 对比SVM，无需进行特别处理，便可进行多分类学习，且LMNN的训练时间长短和类别数量并无太大关联（SVM的训练时间会随着Classes的增长，呈现出线性增长态势，多种扩展算法亦是如此。）

2.算法模型（Model）

2.1.线性变换

1. n个labeled样本，训练集表达：$\{(x_i,y_i){\}}_{i=1}^n$，其中样本输入为$x_i\in {\mathcal{R}}^d$，预先标定标签为$y_i$.
2. Binary指示器：$y_{ij}\in \{0,1\}$，用于表示$y_i$与$y_j$match与否。
3. 目标：学习线性变换：$\mathrm{L}:{\mathcal{R}}^d\to {\mathcal{R}}^d$并用来计算平方距离：
   $$\mathcal{D}(x_i,x_j)={\Vert \mathrm{L}(x_i-x_j)\Vert }^2\text{\hspace{1em}(1)}$$

2.2.目标近邻（Target neighbors）

• 目标近邻定义：对于每个输入$x_j$我们需要找寻k个有同样标签（$y_i$）的目标近邻，并使得式(1)计算出的距离最小化。
• 在缺失先验知识的情况下，我们只能通过欧式距离，在有同样标签（$y_i$）的近邻中搜索。
• ${\eta }_{ij}\in \{0,1\}$表示$x_j$是$x_i$的目标近邻。
• 需要注意的是：$y_{i}j$和${\eta }_{ij}$在学习过程中不会改变。

2.3.目标函数

• 本文目标函数分为两种惩罚：惩罚1 - 输入和目标近邻距离惩罚；惩罚2 - 具有不同Label的样本间，若距离过近，也将遭到惩罚，公式如下：
  $$\epsilon (\mathbf{L})=\sum _{ij}{\eta }_{ij}{\Vert \mathbf{L}\left(x_i-x_j\right)\Vert }^2+c\sum _{ijl}{\eta }_{ij}\left(1-y_{il}\right){\left[1+{\Vert \mathbf{L}\left(x_i-x_j\right)\Vert }^2-{\Vert \mathbf{L}\left(x_i-x_l\right)\Vert }^2\right]}_{+}\text{\hspace{1em}(2)}$$

2.4.放大间距（Large margin）

这部分思想主要体现在式(2)的第二项当中，具有相同标签的样本会拉近距离，就要不同标签的样本会被拉大距离，从而产生Margin。如下图所示：

2.5.针对目标函数的凸优化

经过转换之后，上述公式可以写为半正定规划（SDP）形式。
首先是式(1)的转换：
$$\mathcal{D}\left(x_i,x_j\right)={\left(x_i-x_j\right)}^{\top }\mathbf{M}\left(x_i-x_j\right)\text{\hspace{1em}(3)}$$
而后是式(2)的转换：

3.实验

实验数据集：

$$\begin{array}{lccccccc}& \text{ Iris }& \text{ Wine }& \text{ Faces }& \text{ Bal }& \text{ Isolet }& \text{ News }& \text{ MNIST }\\ \text{ examples (train) }& 106& 126& 280& 445& 6238& 16000& 60000\\ \text{ examples (test) }& 44& 52& 120& 90& 1559& 2828& 10000\\ \text{ classes }& 3& 3& 40& 3& 26& 20& 10\\ \text{ input dimensions }& 4& 13& 1178& 4& 617& 30000& 784\\ \text{ features after PCA }& 4& 13& 30& 4& 172& 200& 164\\ \text{ constraints }& 5278& 7266& 78828& 76440& 37\mathrm{M}\mathrm{i}\mathrm{l}& 164\mathrm{M}\mathrm{i}\mathrm{l}& 3.3\mathrm{B}\mathrm{i}\mathrm{l}\\ \text{ active constraints }& 113& 1396& 7665& 3099& 45747& 732359& 243596\\ \text{ CPU time (per run) }& 2\mathrm{s}& 8\mathrm{s}& 7\mathrm{s}& 13\mathrm{s}& 11\mathrm{m}& 1.5\mathrm{h}& 4\mathrm{h}\\ \text{ runs }& 100& 100& 100& 100& 1& 10& 1\end{array}$$

文献实验结果：

参考文献

[1] Weinberger K Q, Saul L K. Distance metric learning for large margin nearest neighbor classification[J]. Journal of machine learning research, 2009, 10(2).