K-均值散列：学习二进制压缩码的近邻保留量化方法(董帆翻译)

K-均值散列：学习二进制压缩码的近邻保留量化方法

摘要：在计算机视觉中，人们对散列码的学习兴趣日益增加，散列码的汉明距离近似于数据的相似性。散列函数在量化向量空间，并生成相似性保护代码这两个方面都发挥着作用。大多数现有的散列方法使用超平面（或核化超平面）进行量化和编码。在本文中，我们提出了一个采用k-均值量化的散列方法。我们提出了一个新颖的近邻保留的K-均值算法，既可以进行K-均值聚类同时又可以学习量化单元的二进制索引。单元间的距离是由单元索引间的汉明距离近似的。我们进一步推广我们的算法到生成空间来学习较长的编码。实验证明，我们的名为ASK-均值散列（KMH）的方法，优于其他最先进的各种散列编码方法。

1 简介

近似​​最近邻(ANN)搜索被广泛应用于图像/视频检索[ 27 ,11 ]、识别[28] 、图像分类[ 23 ,2] ，姿态估计[25] ，以及许多其他的计算机视觉问题。在人工神经网络搜索中特别感兴趣的一个问题是使用紧凑的表示来近似数据的距离（或他们的排列顺序） 。研究压缩编码大致在两个流，通过它们距离计算的方法可以分为：基于汉明的方法，如局部敏感哈希(LSH)[ 9,1,28 ]及其他 [ 31,14,29,5,19,16,15]；基于查找的方法，例如矢量量化[7]和生成量化 [ 10,11,3] 。

我们观察到这些压缩编码方法通常涉及两个阶段：（i ）量化--特征空间被划分成若干个非重叠的细胞，每个细胞有唯一的索引（代码） ；（ii ）基于索引的距离的计算。 现有的基于汉明的方法（大多称为哈希）使用超平面[ 1,13,29,5,19 ]或核化超平面[ 31,14,15 ]来量化的间。一个超平面编码码中的一个比特，并由散列函数的符号来确定.两个样本的距离的符号近似为它们之间汉明距离的指数（（a ）图1）：现代CPU仅仅用2个指令1就可以非常快速的计算 。

 

（a）哈希                （b）K-均值              （c）我们的方法

图1：压缩编码方法。黑线表示一个分区的边界，一个圆表示k-means中心和一个十字表示样本矢量。 这里d表示欧氏距离，而dh表示基于海明的距离。该索引用二进制形式表示。

另一方面，基于查找的方法[7,10,11,3] 通过k均值[18]把空间量化成细胞。相比于那些使用超平面的方法，K-均值是更自适应的量化方法，而且是最佳的最小量化误差[7]的方法。两个样品之间的距离近似于k-均值中心的距离（图1（b）），它可以从预先计算的查找表中读取给定的中心指标。该产品量化[7,10]是应用k均值为基础的量化方法，比特为一个更大的数（例如64或128）。

基于海明的方法和基于查找的方法是最近越来越让人感兴趣的两类方法，每个类别有其取决于情景的好处。基于查找的方法，如[3,10]，已被证明比一些具有相同的代码长度的海明方法更准确，这得益于自适应k均值量化和更加灵活的距离查询。然而，基于查找的距离计算比海明距离计算2慢。汉明方法也具有以下优点，即距离的计算是与问题无关的：它们仅涉及一个编码阶段，但没有解码阶段（即基于索引的查找）。这个属性是特别受人青睐的，例如，在移动产品搜索[8]和内置硬件系统领域。

在本文中，我们重点学习关于汉明距离计算的二进制压缩码。我们提出了一个新方案：我们用基于k-均值的量化来划分特征空间，但是用细胞索引（图1（c））之间的汉明距离来近似距离。我们想要汉明距离，来保留k-均值中心之间的欧几里德距离。一个天真的解决办法是先用k-均值进行空间的量化，然后分配保持距离的细胞的索引。但是，这两个步骤的解决方案只能达到次优的结果，而分配问题是实际上不可行的做法。

为此，我们提出了一种新的名为“AP K-均值”的量化算法，需要同时考虑量化和距离的近似。该算法明确地保留了k-均值聚类阶段欧几里德和汉明距离之间的相似性。该算法可以自然地推广到产品空间学习更长的代码。我们的方法，命名为K-均值散列（KMH），享有自适应k均值量化和快速的汉明距离计算的好处。

我们注意到一个名为“K-均值局部敏感散列”[22]已被提议作为一个倒置的文件系统[27]的方法。我们指出，在[22] 中的术语“散列”是指将数据分布到桶中，使类似的数据在同一桶会发生冲突的经典散列策略。在本文中，我们遵循在其他许多最近的文章[1,31,14,29,19,15] 中的术语，其中“散列”是指用汉明距离计算的二进制压缩编码。关于“散列”的两个术语的讨论可以在[24]中找到。

2 近邻保留K-均值

2.1 基本模型

我们的基本模型是用k-均值的方式量化特征空间并通过单元索引间的汉明距离计算近似距离。继经典矢量量化（VQ）[7]之后，我们把一个d维向量x∈Rd  映射到另一个矢量q(x)的∈C={ci| ci ∈Rd，0≤i ≤k−1}。集合C称为一个码本[7]，ci为一个码字，并且k是码字的数量。给出b比特的索引，最多有K =2b个码字。 VQ分配任意的矢量到码本中与它最近的码字。一般，码字通过k均值中心给出，因为它们提供了最小的量化误差[7].

VQ把任意两个矢量x和y之间的距离近似于它们码字的距离：

             （1）

在这里，我们使用来表示两个向量之间的欧几里德距离，i(x)表示包含x的单元的索引。上述符号突出显示仅依赖于指数的距离计算：它可以逐K从预计算的查询表d（·，·）中读取。

为了摆脱查找表，并利用快速的汉明距离计算，我们使用汉明距离来近似基于查询的距离：

                    （2）

式中，dh定义为两个索引i和j之间基于汉明的距离。

                         （3）

这里s是一个常数范围，h表示的汉明距离，是其平方根。这个平方根是必不可少的：它把我们的方法联系到正交散列方法（2.4节），并且它使推广近似到长码成为可能（3.1节）。s的使用是因为欧几里德距离d可以是任意范围，而海明距离限制在[0，b]中给定的b比特。我们将在2.4节讨论如何确定s。

总之，给定一个码书C，我们用dh(i(x),i(y))近似于距离d（x，y）（见图1（c））。很明显，该码字的索引影响着近似的距离。

2.2 天真的两步法

解决上述模式的天真的两步是：先通过k-均值用k=2b码字来量化，然后给码字分配最优指标。我们定义了索引分配I={i0,i1, ..., ik−1}，它是整数{0,1，...，K-1}的一个排列。鉴于k-means得出的码字{ci}的固定的顺序，我们认为最佳的索引分配为一个由等式（2）海明近似引入的最小误差：

              （4）

这个等式使逐k的紧邻矩阵d(·,·)和 dh(·,·)的差异最小化。如果我们用尽所有可能的分配I来优化（4），问题是组合性的复杂度：有（2b）！种可能，用“！”表示阶乘3。只有当b≤3位时，这一问题是可行的。当b=4，需要在一天的时间，如果B>4这是非常棘手的。

更重要的是，即使有上述详尽的优化，我们发现这两步仍不能很好地工作（体现在四节）。这是因为，k均值量化将产生任意范围的紧邻矩阵d(·,·)。甚至最佳拟合这样的矩阵也可能导致大的误差，由于海明距离只需要一个有限的范围内的几个离散值。

2.3 近邻保留K-均值

上面的讨论说明了两步方法只能实现次优的解决方案。近邻拟合误差，如（4）是在第一步骤的k均值量化所不关心的量。这促使我们尽量同时减少量化误差和近邻误差。经典的k-means算法[ 18 ]最小化训练样本的平均量化误差Equan ：

                       （5）

其中，S为有n个样本训练的集。在经典的k-means中这个误差被与期望最大化（EM）一样的算法最小化：交替分配的样本索引i(x) ，并更新码字{ci}。我们也希望将在等式（ 2 ）的距离近似引起的误差最小化。我们认为，所有样本对之间的近邻误差 Eaff：

.

这个计算是不可行的，因为它有n2条。幸运的是，它很容易表明Eaff可以写成：

      （6）

这里wij =ninj/n2，ni 和 nj是具有索引i和j的样本数。直观地说，Eaff是逐k的近邻矩阵d(•,•)和 dh(•,•)的加权差。

把量化误差和近邻误差放在一起，我们最小化下面的目标函数：

                         （7）

式中λ是一个固定的权重（在本文中，我们用10 ） 。我们以交替的方式最小化这个函数：

分配步骤：修正{ci}和优化i(x)。这个步骤与经典k-means算法是一样的：每个样本x被分配到在码本词{ ci }中与其最接近的码字。

更新步骤：修复i(x)和优化{ci}。与传统的k-means算法不同，任何码字的更新取决于所有在式（6）中与之成对近邻d(ci ,cj)的所有量 。因此，我们在其他{ ci },  固定时按顺序优化各个码字cj ：

 （8）

这个问题可以通过拟牛顿法求解[ 26 ] （为简单起见，我们使用Matlab的fminunc） 。我们曾经在这一步更新每个码字。

初始化。上述迭代算法需要初始化索引i （x），码本C和在（3）中的尺度s。在实践中我们通过使用PCA-散列学到的二进制代码来初始化索引[ 29 ， 5 ] 。为获得相应的码本C和尺度，我们需要建立现有的散列方法和我们的方法之间的关系。我们在2.4节讨论这个问题。

我们命名上面的算法为近邻保留K-均值。伪代码在算法1 中。根据经验，该算法在50-200次迭代收敛。

算法1 近邻保留 K-均值

输入：训练集S={x},位数b

输出：经排序的集C={Ci|i=0,1, ...,2b−1}

1:初始化i(x), C,s.

2:重复

3: 分配:对∀x∈S，用x最近邻的码字索引来更新i(x)

4: 更新:对j=0 to 2b−1, 使用 (8)更新cj.

5: 直到收敛

2.4 与现有方法的关系

如果我们放松或加强一些限制，我们的方法将成为经典的矢量量化方法或散列方法。实际上，我们的方法是这两种方法的折衷。

 

图2：矢量量化和正交散列之间的关系。一个超立方体的顶点被用作码字。在这个2-D例子中，超立方体是一个正方形。细胞的分区边界是正交的超平面（在2-D线）。

矢量量化[7]

如果我们允许使用预先计算出来的查找表d(•,•),我们可以通过设置λ=0来去除（7）中的近邻误差项Eaff。因此，更新步骤（8）可以用样本均值很简单的解出来。因此我们的方法降级了经典k-均值算法。

 

(a)PCAH            (b)ITQ             (c)我们的方法

图3：汉明距离的几何观点：（a）PCAH，（b）ITQ，（c）我们的方法。圆表示码字，连接两个圆圈的线路表示其海明距离为l。一个点代表一个数据点，用不同的颜色表示不同的编码索引。在这里展示了两个合成的数据集。每个数据库包含从SIFT1M数据集[10]随机选择的3个主要组成部分。此图在彩色版本达到最佳效果。

正交散列和迭代量化[ 5 ] 

如果我们在（7）中设置λ =∞那么d （ •，•）和dh(•,•)必须相同，最小化（7 ）相当于所谓的迭代量化（ ITQ ）的散列方法[5]。

为简单起见，我们假设数据都是b维的（例如，通过主成分分析中[ 5 ] ） 。如果这两个查找表d(•,•) 和dh(•,•)是相同的，则k =2b码字必须从ab维的超立方体的顶点选取。2b-字码本由下式给出：

 

其中，s为超立方体的边长，以及向量{ RT }是B维正交基（图2） 。很容易看出，所得到的细胞的分区边界是正交的超平面（例如，在2 - D实施例的两个正交的线图2中） 。任意两个码字之间的欧氏距离等于基于海明的距离： d2(ci,cj)=s2•h(i, j)=dh2(i, j)。在图2很容易看到这样一个事实。上面的等价是[ 5 ]注意到的。

假设数据已经以零为中心。 （9 ）唯一的自由是一个旋转矩阵R的列为{ RT } 。因此，用λ =∞最大限度地减少在（7）的目标函数，等价于最小化量化误差w.r.t.旋转矩阵R。这是与ITQ [ 5 ]的代价完全一样的函数。

这种关系表明等式（3）确定S的方式。我们用C个cube来初始化码本 ， PCA基用作{ RT } 。将（9）代入式（ 5）中，很容易证明Equan是一个二次函数项。我们通过最小化Equan初始化相应的s。我们初始化后固定s。从理论上讲，我们可以在每次迭代后更新s，但我们在实践中观察到边际影响。

2.5一个几何视图

如上面所讨论的，任何正交散列方法（例如，ITQ[5]和PCAH[29，5]）可以被视为使用一个旋转的超立方体的顶点的代码字的矢量量化方法。图3（a）和（b）示出当b =3比特的几何视图。

我们的方法允许在旋转时“拉伸”超立方体，如图3（c）。拉伸失真由EAFF控制。虽然ITQ有正交的散列方法的最小量化误差Equan，本方法由于拉伸实现了更小的Equan，如图3中的表所示。我们还评估了经验平均距离误差Edist：

 （10）

在图3中的表格表明我们的方法具有最小的Edist 。

请注意，图3的表中所示的尺度的影响。在这里，对于每个数据集，所有方法我们使用相同的S，它是2.4节使用基于PCA的方法计算出来的S。如果我们使用基于ITQ的方法初始化S，我们会观察到类似的比较。

图3中的每个数据集包含从SIFT1M数据集[10]随机选择的3个主成分。有趣的是，我们注意到，在第一个数据集（图3顶部，包含SIFT的最大主成分）大致有两个集群。尽管该方法中给出3位和至多23 = 8簇， ITQ和我们的方法仍将数据分成大致两个簇（在图3上部加了颜色 ）。这两个群的码字在超立方体的对角线上，其具有最大可能的汉明距离（这里=3）。虽然使用3位来给两个簇编码似乎是没有意义的，但是如果关注保留的距离它就是值得的。与此相反，虽然PCAH将数据划分为8个更均衡的群集，但是欧几里德距离是难以被汉明距离保留的。所示的表中， 图3中的表格 （上面）表明它有最大的Edist 。

3 推广到产品空间

像经典的k-means，该近似保留K-means方法是不实际的，如果位数b很大，因为该算法需要计算和存储2b个码字。该产品量化（PQ）方法[10]通过单独训练产品空间的子空间的k-means从而解决了这个问题。我们得出结论，我们的算法可以自然推广到一个产品的空间。

3.1从产品量化到海明距离的近似

文献[ 10 ]的PQ法把空间RD分解成子空间的笛卡尔积。具体地，向量x ∈ RD表示为M个子向量的串联：X = [] ，其中，的上标m表示m个分矢量。一个有k = 2 b子码字子码本是在第m子空间独立地训练出来的。产品空间RD的任何码字c是从M个子空间码本分别训练的M个子码字的级联。这样一来，RD基本上有K=kM=2Mb个不同的码字， 用B = M b位来索引。但是该算法只需要计算和存储M•2b个子码字。

如在VQ（比照等式（1）），PQ用两个码字之间的距离近似表示两个向量之间的距离4：

 （11）

式中qm表示第m个子空间的量化器。在（11）中PQ的距离，通过M个分开的逐K的查找表来计算。

用与2.1节中等式（2）相同的动机，我们用汉明距离来近似等式（11）中基于查找的距离：

（12）

如果索引i（x）是M个子索引的串联，等式成立。这个公式意味着，我们可以对每个子空间单独使用算法1，并使用M个子索引的串联作为最终的索引i（x）。在这种情况下，汉明距离仍然近似于欧几里得距离。如果距离的顺序是唯一的关注的问题，尺度s和（13）式的平方根可忽略的，因为它们是单调的操作（即，排序等同于排序h）。

请注意，等式（13）要求尺度扩展到所有子空间保持不变。我们可以在完整的空间中通过PCAH初步化s（这是非常容易处理的）。但在实践中，我们发现它做得一样好当S在每个子空间分别进行初始化。

3.2 分解产品空间

分解空间RD为M的子空间的产物，我们采用简单的标准如下。

继通用标准[31,29,3,5]，该位应是独立的，我们希望在我们的方法中的子空间为独立人士。为此，我们通过PCA投影（不降维）预处理数据。继PQ的方法[11,12]中另一种常见的标准，我们期望每个子空间的方差被平衡。我们定义为方差的子空间的本征值的乘积。我们采用一个简单的贪心算法实现平衡：我们整理所有在他们的特征值的降序排列的主要组成部分，并依次分配给每个其中1/m个区段具有最小方差。在一个桶中的主要组成部分将形成子空间。

这种分解方法称为特征值分配，有文献[4]的理论基础。

3.3 算法小结

有了上面的子空间分解，我们把邻近保留K-均值分别应用到每个子空间。这个步骤产生了M个子码本，并且每个子码本具有2b个D/M维码字。

为了对任何矢量进行编码，我们首先把它划分成M子向量。找出每个子向量子码本中与它最近的子码字。这M个子索引被串联成为B= M•Bbits的二进制代码。线上，编码查询的复杂度为O(D2 +2bD)=O(D2 +2B/MD)其中D2是由于PCA投影。在实践中，我们使用b≤8，编码成本可以忽略。我们公布了我们算法的Matlab代码，易于理解细节5。

4 实验结果

我们在两个公共数据集上估计神经网络的搜索性能。第一个数据集是从[10]得到的 SIFT1M ，包含100万128维SIFT特征[17]和10,000次独立查询。第二个数据集是GIST1M ，含100万384 –维 GIST的特征[ 21 ]，是我们从80M数据集[28]额外的10,000个样本序列随机抽样得出的这384维特征。我们考虑地面情况，认为每个查询的k欧氏距离最近的邻居。我们在实验中设置K = 10 。稍后我们将对K进行讨论。

我们按照海明排序的搜索策略，它经常被用于许多哈希方法[ 1,31,29,19,5,6 ]采用。海明排序是根据它们的海明距离对查询中的数据进行排序。前N个样本值将被恢复。海明排序是一个详尽的线性搜索方法，但是在实践中非常快：在一个单核的C + +（英特尔酷睿i7 2.93GHz的CPU和8GB的内存）实现扫描100万条64位代码大约需要1.5ms的时间。海明排序可以通过最近的研究[ 20 ]进一步加速。我们估计此次撤销的前N个海明距离。此次撤销被定义为真正近邻的与真正的检索近邻的总数的比例。

 

图4：在有64位SIFT1M情况与天真的两步法的比较

我们使用交叉验证，从{ 2,4,8 }中选择了参数b （每子空间的位数） 。然后子空间数M ，由B的代码长度b给出。线下时，使用未优化的Matlab代码，当B = 64位，在SIFT1M （B = 4 ）我们的方法的训练时间约为3分钟；在GIST1M （β= 8 ）我们的方法的训练时间约为20分钟 。线上时，查询编码时间（ < 0.01ms ）与其它基于超平面的散列方法相比是差不多的，与汉明排序时间（ 1.5ms的为百万数据）相比是可忽略的。

与天真两步法比较

在2.2节的天真两步法也可以应用到相同的产品空间，如同我们的方法。我们有在2.2节实现b=4时的两步法，这需要超过一天的训练。图4示出，这种方法与我们的方法之间的比较，在具有64比特（M = 16子空间 ） 的SIFT1M情况。

图4表明天真的方法是低劣的，即使它详尽地拟合了2个近邻矩阵。这意味着两步法只能达到次优性。当拟合汉明近邻矩阵为任意矩阵时，近邻误差可能很大。

与散列方法的比较

我们比较了k-means散列（KMH）方法与后续的无监督散列方法- 局部敏感哈希（LSH）[1]，谱哈希（SH）[31]，主成分分析的散列（PCAH）[29,5]，和迭代量化（ITQ）[5]。我们也与一个半监督方法-损失最小散列（MLH）[19] 作了比较，为此，使用10,000个样本来生成伪标签。所有的方法都有公开可用的代码，我们使用了它们的默认设置。

图5和图6示出两个数据集的对比。我们已经测试B = 32，64，和128位。我们的方法始终优于所有在这两个数据集中的所有位数的情况。我们也注意到，除了我们的方法，没有方法优于其余竞争对手。 ITQ在大多数的设置情况下，是有竞争力的，通常使用64位和128位。这意味着降低了量化误差是合理的目标。 PCAH执行出奇地好于用32位的SIFT1M，但它不如在其他情况下。

 

图5: 在SIFT1M分别使用32,64和128位编码的6个哈希方法的ANN搜索执行。图中， K=10

欧式最近邻被认为是地面实际情况。我们的方法在32位的情况使用b=2，在64/128位的情况使用b=4。

 

图6：人工神经网络搜索在GIST1M上的使用32，64和128位码6个散列方法的执行。图中，K =10时欧氏距离最近的邻居被认为是地面实况。我们的方法在所有情况下使用B =8。

在不同k情况的性能

在最近的一篇论文[ 30 ]，已经注意到，评估散列方法时，阈值（如在我们的实验中设置的K近邻）确定地面实况近邻可能是特别的影响。在图7 示出了在宽范围的K （1到1000）的评价。由于篇幅所限，我们只显示ITQ和MLH，因为我们发现卓越的竞争对手K较大.在图7我们看到，在一个大范围的K我们的方法始终执行得更好。这表明了该方法的稳健性。

5 讨论和结论

我们提出一个基于k均值的二进制压缩编码方法。与大多数使用超平面量化的散列的方法不同，我们的方法享有的k-means的适应性。我们的近邻保存的K-means算法允许不用查找表而近似出码字之间的欧几里德距离，所以我们的方法具有汉明距离计算的优点。实验已经表明，我们的方法优于许多散列方法。

注释：

1汉明距离定义为两个二进制码的不同位数。给出两个编码i和j，在C++中用popcnt(iˆj)来计算汉明距离，其中ˆ是按位异或，popcnt是计算非零位数的指令。这条代码仅需10−9秒。

2在我们的实验中，产品量化的每个距离的计算时间比哈希方法慢10-20倍。

3 如果只考虑差异近邻矩阵，我们可以证明有(2b-1)!/b!可能性。

4 更精确地，公式（11）是[10]中计算（SDC）的综合距离。SDC是单独依赖于索引的，[10]进一步提出不对称的计算距离ADC。ADC依赖于作为实际数量矢量的顺序矢量。

5 http://research.microsoft.com/en-us/um/people/kahe/

参考文献：

[1] A. Andoni and P. Indyk. Near-optimal hashing algorithms for approximate nearest neighbor in high dimensions. InFOCS, pages 459–468.IEEE,2006.

[2] O. Boiman, E. Shechtman, and M. Irani. In defense of nearest-neighbor based image classification. InCVPR, pages 1–8, 2008.

[3] J. Brandt. Transform coding for fast approximate nearest neighbor search in high dimensions. InCVPR, pages 1815– 1822, 2010.

[4] T. Ge, K. He, Q. Ke, and J. Sun. Optimized product quantization for approximate nearest neighbor search. In CVPR, 2013.

[5] Y. Gong and S. Lazebnik. Iterative quantization: A procrustean approach to learning binary codes. InCVPR, pages 817–824, 2011.

[6] K. Grauman and R. Fergus. Learning binary hash codes for large-scale image search. Machine Learning for Computer Vision, pages 49–87, 2013.

[7] R. Gray. Vector quantization.ASSP Magazine, IEEE, 1(2):4– 29, 1984.

[8] J. He, J. Feng, X. Liu, T. Cheng, T.-H. Lin, H. Chung, and S.-F. Chang. Mobile product search with bag of hash bits and boundary reranking. InCVPR, pages 3005–3012, 2012.

[9] P. Indyk and R. Motwani. Approximate nearest neighbors: towards removing the curse of dimensionality. In STOC, pages 604–613, 1998.

[10] H. Jegou, M. Douze, and C. Schmid. Product quantization for nearest neighbor search. TPAMI, 33, 2011.

[11] H. Jegou, M. Douze, C. Schmid, and P. Perez. Aggregating local descriptors into a compact image representation. In CVPR, pages 3304–3311, 2010.

[12] H. Jegou, R. Tavenard, M. Douze, and L. Amsaleg. Searching in one billion vectors: re-rank with source coding. In ICASSP, pages 861–864, 2011.

[13] B. Kulis and T. Darrell. Learning to hash with binary reconstructive embeddings. Advances in neural information processing systems, 22:1042–1050, 2009.

[14] B. Kulis and K. Grauman. Kernelized locality-sensitive hashing for scalable image search. InICCV, 2009.

[15] W. Liu, J. Wang, R. Ji, Y.-G. Jiang, and S.-F. Chang. Supervised hashing with kernels. InCVPR, 2012.

[16] W. Liu, J. Wang, S. Kumar, and S.-F. Chang. Hashing with

graphs. InICML, 2011.

[17] D. G. Lowe. Distinctive image features from scale-invariant keypoints.IJCV, 60:91–110, 2004.

[18] J. B. MacQueen. Some methods for classification and analysis of multivariate observations. InProceedings of 5th Berkeley Symposium on Mathematical Statistics and Probability, pages 281–297. University of California Press, 1967.

[19] M. E. Norouzi and D. J. Fleet. Minimal loss hashing for compact binary codes. InICML, pages 353–360, 2011.

[20] M. E. Norouzi, A. Punjani, and D. J. Fleet. Fast search in hamming space with multi-index hashing. InCVPR, 2012.

[21] A. Oliva and A. Torralba. Modeling the shape of the scene: a holistic representation of the spatial envelope.IJCV, 42:145– 175, 2001.

[22] L. Paulev´ e, H. J´egou, and L. Amsaleg. Locality sensitive hashing: a comparison of hash function types and querying mechanisms.PR Letters, 2010.

[23] F. Perronnin and C. Dance. Fisher kernels on visual vocabularies for image categorization. InCVPR, 2007.

[24] F. Perronnin and H. Jegou. Large-scale visual recognition. InCVPR tutorial, 2012.

[25] G. Shakhnarovich, T. Darrell, and P. Indyk. Nearestneighbor methods in learning and vision: theory and practice. The MIT Press, 2006.

[26] D. Shanno et al. Conditioning of quasi-newton methods for function minimization. Mathematics of computation, 24(111):647–656, 1970.

[27] J. Sivic and A. Zisserman. Video google: a text retrieval approach to object matching in videos. InICCV, 2003.

[28] A. B. Torralba, R. Fergus, and W. T. Freeman. 80 million tiny images: A large data set for nonparametric object and scene recognition.TPAMI, 30:1958–1970, 2008.

[29] J. Wang, S. Kumar, and S.-F. Chang. Semi-supervised hashing for scalable image retrieval. InCVPR, 2010.

[30] Y. Weiss, R. Fergus, and A. Torralba. Multidimensional spectral hashing. InECCV, 2012.

[31] Y. Weiss, A. Torralba, and R. Fergus. Spectral hashing. In NIPS, pages 1753–1760, 2008.

 

阅读心得：