论文地址：http://openaccess.thecvf.com/content_cvpr_2017/papers/Talmi_Template_Matching_With_CVPR_2017_paper.pdf
cvpr2017，方向：模板匹配
1030待修改
Abstract
我们基于目标图像窗口和模板之间特征匹配的多样性，提出了一种新的模板匹配度量，称为Deformable Diversity Similarity。 我们同时依赖于本地外观和几何信息得出了这个强大的匹配方法。 我们的主要贡献是一个相似性度量，它对复杂的变形，明显的背景杂波和遮挡具有鲁棒性。 对最新基准进行的经验评估表明，我们的方法在提高检测复杂度的同时，其检测精度优于当前的最新技术。
1.Introduction
模板匹配是许多计算机视觉应用程序中的关键组件，例如对象检测，跟踪，监视，医学成像和图像拼接。我们的兴趣在于当目标图像上没有可用的先验信息时（in the wild）进行模板匹配。一个示例应用是在监视系统的不同摄像机中识别同一对象[1]。另一个用例是视频跟踪，其中模板匹配用于检测漂移并在丢失对象后重新放置对象[9]。如图1所示，当图像中的模板和目标之间的转换复杂，不固定或包含遮挡时，这是一项艰巨的任务。
传统的模板匹配方法（例如，平方和距离或归一化互相关）不能很好地处理这些复杂情况。 这主要是因为它们会惩罚模板的所有像素，当发生遮挡或较大变形时会导致错误检测。 为了克服这个限制，在[4，18]中提出了最佳伙伴相似度（BBS）措施。 BBS基于目标的特征和模板的特征之间的最近邻（NN）匹配属性。 它仅依赖模板中点的子集，因此希望锁定到模板和目标之间对应的相关特征。 这使得BBS比以前的方法更鲁棒。
在本文中，我们采用了基于特征的BBS无参数方法，并提出了一种新的模板匹配相似度度量，称为DDIS：可变形多样性相似度。 DDIS基于目标窗口的点与模板之间的匹配项的“最近邻居”字段的两个属性。首先，NN匹配的多样性为模板匹配提供了强有力的线索。文献[11]中的观察结果支持了这一思想，其中使用补丁多样性来匹配对象以进行纹理合成。我们提出了用于测量NN field diversity的公式，并进一步提供了理论分析和经验评估，这些方法表明了这些措施的优势。
DDIS背后的第二个关键思想是明确考虑NN场隐含的变形。正如[7]关于可变形零件模型的开创性工作所表明的那样，允许变形同时在匹配度量中考虑它们对于对象检测是非常有利的。 DDIS结合了模板匹配的类似思想，与最新技术相比，可以显着提高模板检测的准确性。
DDIS相对于BBS [4，18]的好处是降低了计算复杂度。两种方法都依赖于NN匹配，但是BBS的编制方式需要进行大量计算。 DDIS在提供类似于BBS的统计属性的同时，效率更高。
总而言之，在本文中，我们介绍DDIS，这是一种基于两个观察结果的野外模板匹配方法：
（i）模板点和目标点之间的NN匹配多样性表明了它们之间的相似性。
（ii）应明确考虑NN字段隐含的变形。
DDIS鲁棒且无参数，它可以在不受限制的环境中运行，并且与以前的方法相比，在真实的具有挑战性的数据集上显示出更高的准确性。
代码：https://github.com/roimehrez/DDIS
2.Related Work
模板和目标图像的子窗口之间的相似性度量是模板匹配的核心部分。在[19]中给出了很好的评论。常用的方法是逐像素方法，例如平方差总和（SSD），绝对差总和（SAD）和归一化互相关（NCC），所有这些方法仅假设模板和目标之间进行转换。它们可以与色调映射结合以处理照明变化[8]，也可以与非对称相关性结合以处理噪声[6]。为了提高对噪声的鲁棒性，已提出了像M估计器[2，23]或基于汉明的距离[22，20]之类的噪声。
仿射等更通用的几何变换由[27，12]解决。在[13]中，通过近似参数模型的全局最优值来处理参数变换。在[26]中，通过变形的参数估计来解决非刚性变换。当它们的基本几何假设成立时，所有这些方法都可以很好地工作，但是，在存在复杂的变形，遮挡和混乱的情况下，它们将失败。
第二组方法考虑模板的全局概率属性。例如，在[3，21]中，使用颜色直方图匹配（用于跟踪）。这并不限制几何变换，但是在许多情况下，例如在背景杂波和遮挡的情况下，颜色直方图不是很好的表示。其他方法将几何线索与外观线索结合在一起。例如，在[16]中提出了一种概率解决方案，其中几何和颜色提示用于表示位置强度空间中的图像。 Oron等人[17]通过在xyRGB空间中测量一对一的距离扩展了这个想法。这些方法都做出了各种假设，这些假设在复杂的场景中不成立。
最近在[4，18]中提出了一种更健壮的方法，可以处理复杂的情况。 他们的方法被称为最佳伙伴相似度（BBS），是基于[24]的双向相似度（BDS）概念。 他们通过考虑补丁之间的匹配来计算模板和目标窗口之间的相似度。 在两个方向上计算匹配，从而为异常值提供了鲁棒性。 在[5]中提出了类似的想法，即用总和代替Hausdorff距离[10]的max运算符。 [4，18]的BBS导致模板匹配精度比以前的方法有了显着提高。 在本文中，我们提出了一种不同的措施，该措施与BBS共享其鲁棒性，同时产生更好的检测结果。
3.Diversity as a Similarity Measure
为了测量目标窗口和模板之间的相似性，我们首先针对每个目标补丁在外观上找到其最近邻居（NN）。我们的关键思想是目标和模板之间的相似性是通过隐含NN字段的两个属性来捕获的。首先，如图2d所示，当目标和模板对应时，大多数目标补丁在模板中具有唯一的NN匹配。这意味着NN字段高度多样化，指向模板中的许多不同补丁。相反，如图2e所示，对于任意目标，大多数面片都没有很好的匹配，并且NN收敛到恰好与目标面片相似的少量模板点。第二，我们注意到任意匹配通常意味着较大的变形，如图2e中的长箭头所示。
图2：可变形的多样性：在目标图像（b）中搜索以绿色（a）标记的面部模板（c）。 脸部经历了复杂的转变：背景杂乱，旋转不平和非刚性变形。 我们在不良目标窗口（e）和最佳目标窗口（d）上进行缩放，这两个目标在（b）中也用颜色标记。 蓝色箭头是NN字段的样本：它们的起点标记目标补丁，而端点标记其NN在模板中的位置。 较差的目标（e）显示变形较大的NN斑块多样性低（长箭头）。 相反，最佳目标（d）显示出较高的多样性和较小的变形（短箭头）。 最好在屏幕上观看。
接下来，我们提出了两种方法来量化NN场的多样性和变形量。第一个更加直观，可以进行优雅的统计分析。第二个稍微更复杂，更强大。
3.1 Diversity Similarity (DIS)
让点pi，qj∈Rd分别代表模板和目标的补丁。 我们的目标是测量两组点之间的相似度，即模板点P = {pi} N i = 1和目标点Q = {qj} M j =1。
对于Q内的每个点q我们都需要在P中找到他的NN（满足约束1），d（q,p）为给定的距离函数。
我们的测量所基于的第一个属性是NN中属于P的点p的多样性。
衡量多样性的一种直观方法是计算唯一NN的数量。 我们将分集相似度（Diversity Similarity DIS）定义为：
其中c = 1 / min {M，N}是归一化因子，| {·} | 表示组大小。
为了进一步了解DIS为什么捕获两组点之间的相似性，我们在图5提供了一个2D图解。
图5：DIS和BBS的推理：对于每个点q∈Q也是最佳配对（BBP，请参阅第4.1节），我们更改为画一个红色箭头指向其NN p∈P。如果q和p是红色箭头到一条绿线。 DIS计算由红色箭头或绿线指向的蓝色三角形。 BBS计算绿线。 （a）P和Q的分布相似，因此，许多p是某些q的NN，并且有很多BBP。这里DIS = BBS =8。（b）P和Q具有不同的分布。密集p中的单个q或密集q中的单个p对DIS和BBS均贡献1。有时，Q和P之间存在唯一的NN匹配，而不是BBP。由于P和Q的分布不同，DIS和BBS都相对较低，因此DIS = 3和BBS = 2。
图5a证明，当P和Q中的点分布相似时，大多数值q∈Q具有唯一的NNp∈P，这意味着DIS值较高。 相反，当P和Q的分布不同时，如图5b所示，DIS为低。
这是因为在Q稀疏而P密集的区域中，P中的大多数点都不是任何q的NN。 此外，在Q密集而P稀疏的区域中，Q中的大多数点共享相同的NN。 在这两种情况下，由于点数是有限的，因此对DIS的总体贡献很小。
3.2 Deformable Diversity Similarity (DDIS)
在捕获多样性时，DIS不会明确考虑变形场。 考虑到变形量很重要，因为尽管应允许进行非刚性变换，但也应限制它们以优先考虑真实物体的合理变形。
为了整合对大变形的惩罚，我们对测量多样性的方式进行了两种修改。
- 首先，为了获得变形场的显式表示，我们区分每个贴片的外观和位置并将它们分别对待。
- 其次，我们提出了另一种测量多样性的方法，该方法可以考虑变形量。
令pa表示外观，而pl表示面片p的位置（q同理）。
我们为每个点qj寻找基于外观的NN（满足约束（2)，d为距离函数)
qj和1它的NNa的距离由rj表示
为了把多样性数量量化成NN field 函数，我们定义了k(pi)作为NNa为pi的patch q的数量，q属于Q
最终，我们针对高多样性和小变形性定义了DDIS（Deformable Diversity Similarity）：其中c = 1 / min {M，N}是归一化因子
该定义可以看作是点qj上的贡献之和。 当点qj具有唯一的NN时，则κ（NNa（qj，P））= 1，指数达到最大值1。相反，当qj的NN被许多其他点共享时，则κ（NNa（ qj，P））大，指数值低，并且qj对相似度的总体贡献低。 另外，每个点的贡献由其隐含变形矢量的长度rj反向加权。
DDIS具有使其具有吸引力的几个属性：
（1）它主要依赖于匹配的子集，即具有不同NN的点。 共享NN的分数对分数的影响较小。
（2）DDIS不需要任何有关数据或其潜在变形的先验知识。
（3）DDIS分析NN字段，而不是使用实际距离值。
这些特性使DDIS可以克服诸如背景杂波，遮挡和非刚性变形之类的挑战。
3.3 DIS as simplified DDIS
DIS和DDIS以两种不同的方式捕获多样性。 DIS只是计算P中的唯一匹配，而DDIS则以指数形式测量Q中每个补丁的NN匹配的区别。尽管如此，我们接下来将证明DIS和DDIS是高度相关的。
我们首先通过在（3）中将rj设置为0来忽略变形，并通过假设M = N简化（不失一般性）。
我们通过1/k来表示P中的在Q中至少有一个NN的点p的比例.
当k = 1时，即κ（pi）= 1∀pi∈P时，DIS和DDIS均达到最大值1。 当k = N时，即所有q∈Q共享一个NN，两个分数都达到最小值DIS = 1 / N和DDIS = exp（1-N）。
在这种情况下DIS = (N/k)/N = 1/k，DDIS如下：
进一步的推理可以从NN匹配均匀分布的情况下得出，即，当P中只有N / k个点是某个q的NN时，所有κ（pi）= k。
两种度量都共享一个极点，它们之间的极点作为k的函数单调下降，而DDIS由于其指数性质而下降得更快。 如图3所示。
图3：作为简化DDIS的DIS：DIS和DDIS（rj = 0，M = N）的图作为k的函数，其中P中的N / k点是某个q的NN，对于它们全部都是κ（pi ）= k。 DIS和DDIS都在k = 1时最大，并且单调递减，在k = N时达到最小值。
3.4 Statistical Analysis
为了进一步巩固我们的观点，即多样性体现了两个分布之间的相似性，我们提供了统计分析，类似于[4，18]中提出的分析。我们的目标是表明，当两组中的点均来自相同分布时，对DIS和DDIS的期望最大，并且随着两个分布之间的距离增加，其期望值急剧下降。我们通过一个简单的一维数学模型来做到这一点，在该模型中，将图像窗口建模为从通用分布中得出的一组点。
附录A给出了从两个给定分布中得出的点时E [DIS]（DIS的期望值）的推导。 E [DIS]的表达式没有封闭形式的解决方案，但可以为选定的基础分布进行数值求解。因此，我们采用与[4]相同的设置，其中P和Q假定为高斯分布，它们通常用作图像斑块的简单统计模型。然后，我们使用蒙特卡洛积分对参数µQ和σQ的离散选择近似期望值。对于BBS和SSD，我们采用[4]中的推导，其中E [BBS]也通过蒙特卡洛积分进行了近似，并且E [SSD]进行了归一化。
图4：在一维高斯情况下的预期行为：根据[4]，通过分别从N（0; 1）和N（µQ;σQ）采样N = M = 100个点来生成两个点集P和Q ，其中[µQ，σQ]∈[0，10]。 （顶部）作为µQ和σQ的函数，对SSD（a），BBS（b）和DIS（c）的近似预期表明，随着分布的分开，BBS和DIS的下降速度要比SSD快得多。 （下图）当平均变形为小（d），大（e）和忽略（f）时DDIS的近似期望值（（d）和（e）共同按比例缩放）。可以看出，较小的变形场对应于期望中的更尖锐的峰值，而对于较大的变形，相似度始终较低。
图4给出了所得的近似预期值。可以看出，当分布相同时，DIS可能最大化，而当分布彼此不同时，DIS则迅速下降。另外，很明显DIS和BBS表现出非常相似的行为。最后，类似于[4]，可以证明对于多维情况也是如此。
对于DDIS，我们无法为其期望E [DDIS]导出漂亮的表达式。相反，我们使用模拟对其进行近似。模拟还需要考虑位置，以量化（3）中的变形量rj。当rj = 0时，期望值与BBS和DIS相似。对于rj≠0，我们模拟两种情况：
- （i）变形小：我们根据每个点的外观坐标对其进行排序，并将其索引作为排序列表中的位置。当分布不同时，多样性就很低。但是，当分布相似时，排序将导致点及其NN具有相似的索引，这对应于较小的变形。
- （ii）大变形：我们将一组点的降序排序，将另一组点的升序排序，再次将它们的索引作为索引在排序列表中的位置。当分布相似时，排序将导致点及其NN具有不同的索引，这对应于较大的变形。
图4显示，对于较小的变形，E [DDIS]随着分布的不同而急剧下降。对于较大的变形，该值始终是所需的，因为即使外观相似，如果几何变形较大，则点集之间的总体相似性也很低。
4 Comparison to BBS
我们的措施与BBS极为相似-都依赖于两组点之间的NN匹配。 但是，有两个主要区别：
（i）两组之间相似性的测量方式
（ii）空间变形量的损失。
接下来，我们分析这些差异的含义。
4.1 You Only Need One Direction
[4、18、24]双向相似性方法背后的关键思想是，鲁棒匹配需要双向特征对应。我们的单方面措施与这一主张相矛盾。实际上，我们观察到，多样性为BBS提供了很好的近似值。我们目前的分析是针对DIS的，因为它比DDIS更简单且不包含变形，因此与BBS的比较更加公正和直接。
回想一下，BBS计算目标和模板之间的双向NN匹配数。如果pi是qj的NN，而qj是pi的NN，则为一对点。 BBS计算pi∈P和qj∈Q被认为是BBP的最佳伙伴对（BBP）数量，以衡量P和Q之间的相似性。显然，与之相比，BBS的双边性质在计算上是浪费的单方面的DDIS和DIS。
DIS和BBS的定义不同，但是，由于目标和模板中补丁的数量是有限的，因此DIS为BBS提供了一个很好的近似值。如图5a所示，当P和Q中的点的分布相似时，许多NN关系是双向的。这意味着BBS和DIS的值非常相似。在模板和目标相同的极端情况下，每个点q都有唯一的NN p = q，它们形成BBP。在这种情况下，DIS = BBS恰好。
当分布不同时，DIS和BBS的行为也相似，如图5b所示。在P稀疏且Q密集的区域，我们得到多个点q∈Q，它们对DIS和BBS的共同贡献为1。由于共享相同的NNp∈P。它们中的最多一个形成BBP，P和Q中的点数是有限的，这意味着在其他区域中P密集而Q稀疏。在这些区域中，P中的许多点都不是任何q∈Q的NN，对DIS和BBS的贡献都为零。
我们的观察结果与图4的期望分析一致。此外，我们的实验（第7节）表明，DIS和BBS达到了可比的模板匹配精度。
4.2 Explicit vs. Implicit Deformation Modeling
在[4，18]中指出了惩罚大变形的需要。通过在搜索NN时将xy坐标添加到特征向量中来隐式完成此操作。一对点之间的距离被视为它们的外观和位置差异的加权线性组合。这与仅考虑外观进行NN匹配并显式惩罚所获得的NN字段中的变形的DDIS不同。我们的方法有两个好处：（i）改进的运行时间，以及（ii）更高的检测精度。
仅使用外观进行NN匹配会显着减少运行时间，因为尽管每个图像补丁都由许多子窗口共享，但每个子窗口的xy坐标都不同。这意味着需要分别为每个图像子窗口计算NN字段。相反，在外观空间中工作使我们可以对每个图像补丁执行单个NN搜索。在第6节中，我们从计算复杂性方面分析了收益。
外观和位置之间的分隔也可以使模板定位更加准确。具有非常相似外观的目标窗口重叠可能导致非常相似的得分。 DDIS选择隐含变形较少的窗口。我们的实验表明，这一点很重要，可以提高定位精度。
5 Implementation
为了将DDIS用于图像中的模板匹配，我们遵循传统的光栅扫描方法。我们的算法将输入目标图像S和模板T作为输入。它的输出是将T放置在S内的帧。我们用Tw表示T的宽度及其高度Th，与S相似。每个模板大小的子窗口W∈S与T比较。我们从T和W特征向量中提取，如下所述，分别产生集合P和Q。我们使用欧几里得距离（L2）比较外观特征pa和qa。变形长度rj是xy坐标pl和ql之间的欧几里得距离。我们的实施包括四个阶段：
- 特征提取：我们尝试了两种形式的外观特征：颜色和深层特征。作为颜色特征，我们将pa和qa设置为3×3重叠色块的矢量化RGB像素值。为了获得深度特征，我们使用了流行的VGG-Deep-Net [25]。更具体地说，我们从conv1、2，conv3 4和conv4 4层获取特征图（类似于[14]中关于对象跟踪的建议）。我们发现较低的空间分辨率不准确，因此放弃了较高的图层。将特征图归一化为零均值和单位标准偏差，然后通过双线性插值放大以达到原始图像大小。
- NN搜索：我们为S中的每个特征向量在模板T中找到其近似NN。我们使用TreeCANN [15]，将PCA维数减少到9维，kd-tree近似参数ǫ= 2，密集搜索（gS = gT = 1），窗口参数wS = 3，wT = 5。
- 相似度图计算：对于每个目标图像像素（忽略边界像素），我们计算其周围子窗口W与模板T之间的相似度。对于每个W，我们首先计算κ（pi），∀pi∈P 在（2）中。 由于后续窗口有许多重叠，因此κ的计算仅需要相对于先前的子窗口更新已删除和已添加的功能。 然后，我们按照（3）中的定义计算DDIS。
- 目标定位：最后，模板位置是得分最高的位置。 在取最大值之前，我们使用大小为(Tw/3)×(Th/3)的均匀核对相似度图进行平滑处理，以去除虚假的孤立峰。
6 Complexity
集合P和Q可以接受地包含来自T和W中所有位置的要素。这意味着回想一下，d表示特征向量的长度。对于彩色特征，d等于色块的大小×3，而对于深色特征，d由特征图尺寸确定。接下来，我们分析步骤（1-3）的复杂性。
NN搜索：TreeCANN包含两个阶段。 首先，在O（dl）中将所有模板点的维数从d减小到d'，并在O（d'llogl）中建立k-d树。 第二阶段执行查询。 每个查询包括降维O（d），在k-d树中的搜索O（logl）（平均）和利用空间相干性O（d）的传播阶段。 为目标图像S中的所有特征找到近似NN的总体复杂度平均为O（d'llogl + L（d + logl））。 内存消耗为O（l）。
相似度图计算：为简单起见，假设Tw = Th =√l，对于除第一个变量外的任何W，κ（p）的更新都需要O（√l）运算。 接下来，使用O（l）运算来计算DDIS。 假定子窗口的总数为L，则此步骤的复杂度为O L（l + 1）≡OLl。 此阶段的内存消耗为O（l），这是保存κ（p）的表的大小。
目标定位：使用O（L）中的积分图像有效地对相似度图进行平均。 为了找到最大位置，需要在图像上再次滑动，这需要O（L）。
综上所述，我们得出与DDIS进行模板匹配的总体复杂度为O（d'llogl + Ll），其中由于省略了d（l），因此省略了O（L（d + logl）），因为 大T的T和d≪l。
与BBS的比较
DDIS对于BBS的好处之一是，它仅需要单方面的匹配。 现在可以弄清楚复杂性方面的好处。 根据文献[18]，使用深层特征的BBS复杂度平均为O（L14d），对于色彩特征，其平均复杂度为O（L12d）。 后一种情况使用大量缓存，这会占用O（l2√L）内存（假设Sw = Sh =√L）。
7 Empirical Evaluation
我们的实验设置遵循[18]的实验设置，它通过从带有边界框的视频序列中采样帧以进行对象跟踪[28]来创建基准。这些视频提出了各种各样的挑战：复杂的变形，亮度变化，比例差异，平面外旋转，遮挡等等。基准测试由三个数据集组成，这些数据集是通过对{270，270，254}个帧对进行采样而得出的，这些帧对具有恒定的帧（时间）差dFrame = {25，50，100}，产生了越来越具有挑战性的数据集，具有挑战性的模板匹配基准。
对于每对框架，一个框架用于将模板定义为带注释的地面真实框，而第二个框架用作目标图像。如在对象跟踪中通常所做的那样，将检测结果与目标的真实注释之间的重叠作为准确性的度量：准确性= |Rest∩Rtruth| / |Rest∪Rtruth| |||计算区域中像素的数量，Rtruth和Rest是地面真值和估计的矩形，将T定位在S中。
定量评估：我们将DDIS和DIS与具有色彩和深色特征的BBS，BDS，SSD，SAD和NCC进行比较。 对于BBS和DIS，我们在xyHSV空间使用完全相同的值。 在图6中，我们按照[18]中的每个设置进行绘制，即3×3个不重叠的补丁表示数据集，并绘制了成功率曲线。 从表6d中的曲线下面积（AUC）分数可以看出，DDIS比所有以前的方法都成功得多。
此外，具有简单色彩特征的DDIS优于具有色彩或深色特征的所有其他方法。 使用深度功能时，对于三个数据集，DDIS优于BBS，边距分别为≈11％，15％，8％。 使用颜色功能时，边距约为10％，16％，21％。
图6：模板匹配精度：在[18]的基准上进行评估：270个模板图像对，其中dFrame∈图像对，其准确性>阈值∈[0，1]。 相应的曲线下面积（AUC）分数显示在{25，50，100}中。 从ROC曲线（a）-（c）可以看出，DDIS优于竞争方法，而曲线（a）-（c）显示了（d）中表格的比例。 对于所有方法，D代表深色特征，而C代表颜色。 具有深层功能的DDIS可提供最佳效果。 带有色彩功能的DDIS位居第二，即使使用深色功能也胜过其他方法。
定性评估：图8显示了一些具有挑战性的例子的检测结果，这些例子来自网络，包括遮挡，明显变形，背景杂乱和模糊。我们将DDIS和DIS与BBS（当前最新技术）进行比较。从检测可能性图可以明显看出，DIS和BBS具有相似的行为，支持我们的建议，即单边匹配就足以捕获相似性。另一方面，DDIS也考虑了变形，因此，它显示的地图更清晰，干扰点更少。
运行时间：我们的实现是在MATLAB / c ++中进行的，所有实验均在32GB RAM，Intel i7四核计算机上进行。基准测试中，使用颜色功能的图像对的平均（std）运行时间为0.86s（0.59），具体取决于模板的大小。为了进行比较，BBS的平均（std）时间要长几个数量级：35.47s（80.36）。 DDIS的最大运行时间和最小运行时间分别为3.44s和0.06s，而BBS的最大运行时间分别为493s和0.14s。 dFrame = 25的详细结果显示在图7中。这与我们的复杂度分析相符，该分析表明DDIS受模板大小的影响较小，而BBS对l的依赖性是多项式。
8 Conclusions
我们基于目标和模板特征之间的匹配的NN字段的属性，引入了一种新的模板匹配方法。 我们的方法不仅建议在检测准确度方面有所改进，而且还建议在计算复杂度方面有所改进。 我们算法的一个缺点是不能处理物体的明显比例变化。 这可以通过在多个尺度上计算似然图来解决。 未来的研究方向是探索对每个补丁的考虑是否超过第一个NN。 这可能有助于处理重复纹理。 我们的分析表明，一个重要的发现是不一定需要双向匹配来计算相似性。 这就引起了人们对著名的双向相似度方法的质疑，该方法提供了出色的结果，但计算量很大。
附录A
待补充
参考文献
详见论文