解读：CVPR1903_图卷积网络GCN无监督人脸聚类

Linkage Based Face Clustering via Graph Convolution Network
https://arxiv.org/pdf/1903.11306.pdf

1简述

对未知的身份的一组面孔进行分组（面部聚类）。
将此任务表示为链接预测问题：如果两个脸特征相似（相同），则它们之间存在链接。
关键思想是在脸部周围的特征空间中找到连接。

图1.方法概念
（a）：本文旨在估计是否应该链接两个节点。（判断是否是相似、同特征空间、即同一人）
（b）：直接阈值l2距离，不考虑上下文。 （欧氏距离特征匹配相似度）
（c）：使用启发式方法基于上下文进行链接估计。 （近似秩 - 阶距离，不了解）
（d）：我们的方法，即学习基于上下文的链接可能性参数模型。（构建每张脸特征空间之间的拓扑）

利用图卷积网络（GCN）来执行推理并推断子图中存在链接的可能性。

图2 方法流程

（a）提特征，构造特征空间（一个红、或绿、或蓝点即为一个特征空间）
（b）构建每张脸的枢纽子图IPS（子拓扑）
（c）IPS过GCN
（d）得到推断结果，子拓扑重新连接整体拓扑图，得到聚类结果

2方法

2-1. IPS的构建

图3 IPS的构造。
（a）提取面部特征。
（b）我们使用每个脸P作为一个支点，并将其邻居作为IPS的节点发送到h-hop。
（实线的1跳节点和虚线的2跳节点）
（c）通过减去枢轴的特征来标准化这些节点特征。 （减P）
（d）对于IPS中的节点，我们从整个集合中找到其uNN。

• 给定一个数据透视p，我们使用其邻居直到h-hop作为IPS的节点。 对于每一跳，拾取的最近邻居的数量可以变化。 我们将第i跳中最近邻居的数量表示为ki，i = 1,2，…，h。
• 如令p为枢轴，IPS 子拓扑图 Gp（Vp，Ep）的节点集为Vp，Ep为边集。其中h = 3且k1 = 8，k2 = 4，k3 = 2，则由8个最近邻居p， 1跳邻居的4个最近邻居，以及2跳邻居的2个最近邻居组成。 请注意，pivot p本身不包含在Vp中。
  （感觉这段举例说的很别扭，k1是1跳，k2就是2跳，k3就是3跳…依次类推，可能是为了体现邻近上下文关系）

如果邻居也是IPS的节点，我们在节点及其uNN之间添加linkage。
在这个图中，我们设置h = 2，k1 = 10，k2 = 2和u =3， 其中k1是1跳邻居的数量，k2是2跳邻居的数量。
基于pivot p的IPS不包含p（c步骤减去了）。
用于pivot p的IPS用于预测p与p中每个节点之间的链接。
具体过程涉及KNN。再了解。

IPS最后一步在节点之间添加边时， 对于任一节点q（脸）∈Vp，我们首先在原始整个集合中的所有脸中找到top u最近邻（uNN）。 如果uNN的节点r出现在Vp中，我们将边（q，r）添加到边集Ep中。 此过程可确保节点的程度不会发生太大变化。 最后，我们通过邻接矩阵Ap∈R| Vp |×| Vp |来表示IPS的拓扑结构和节点特征矩阵Fp。

2-2. GCN on IPS

图形卷积层将节点特征矩阵X与邻接矩阵A一起作为输入，并输出变换后的节点特征矩阵Y。本文中的X为标准化后的（减P）的节点特征，X=Fp。

其中X∈RN×din，Y∈RN×dout，N是节点的数量，并且din， dout是输入/输出节点功能的维度。
G =g（X，A）是大小为N×N的聚合矩阵，并且每行总和为1，并且g（·）是X和A的函数。
运算符||表示沿着特征维度的矩阵级联。
W是尺寸为2din×dout的图卷积层的可学习权重矩阵，σ（·）是非线性激活函数。

图形卷积操作可以分为两个步骤。在第一个步骤中，通过由G左乘以X，节点的邻居的基础信息被聚合。然后，输入节点特征X沿着特征维度与聚合信息GX连接。在第二步中，级联特征由一组线性滤波器变换，其参数W将被学习。
探讨了聚合操作的以下三种策略g（·）。
（a）平均聚合执行邻居之间的平均汇集 G = 其中A是邻接矩阵，并且Λ是具有的对角矩阵
（b）加权聚合用相应的余弦相似度替换A中的每个非零元素，并使用softmax函数来标准化每行的这些非零值。加权聚合执行邻居之间的加权平均合并。

（c）注意聚合,G中的元素是由两层MLP使用一对枢轴邻居节点的特征作为输入生成的。

2-3. 合并集群

采用[34]中提出的伪标签传播策略。在每次迭代中，算法将边缘切割到某个阈值以下，并维持连接的簇，其大小大于队列中预先定义的最大大小，以便在下一次迭代中处理。在下一次迭代中，切削刃的阈值增加。迭代此过程直到队列为空，这意味着所有实例都标有伪标签。

3实验

略。

总结：探讨了未知身份人脸构建网络输入拓扑特征、邻接矩阵以及GCN权重聚合方式。