文中利用了不同来源的图像组内和组间的关系来增强自动标注的效果。
一方面认为,相似的图像预测的也应该是相似的,利用kNN图的关系进行组内的正则化,以此增强底层特征的联系。
另一方面认为,不同来源的共享的标签的预测函数的参数应该是相似的,利用组间关系改善预测的参数。
最终利用多任务学习模型得到目标函数。
定义为N个不同来源的标注图像,其中x是图像的特征向量,y是图像的标注向量,i是来源的编号,j是同一组内图像的编号。
则利用最小二乘回归(least squares regression, LSR)每一个来源内的目标为
其中是参数矩阵,利用F范数进行结果的度量。
视觉相似的图像在语义上通常有联系,所以它们的标注也和它们的局部结构相关。作者在所有来源图像相似性的kNN稀疏图(kNN sparse graph)上,定义了作为图像s和t的相似性度量,如果在稀疏图上没有边则相似度为0。
为同一来源内的相似性,通过将中的部分值设为0获得,则正则化的公式为:
对于相似性高的图像,W的值更大,右侧两者预测的差距就应该越小。
通过引入拉普拉斯矩阵,上式可以转变为:
其中,
文中认为,对于不同来源的共享的标注,预测函数的模型参数应该是相似的。
定义矩阵为标签在所有来源中的一致性,m是所有来源标签数量的总和。表示标签s和t来源不同但实质相同,否则等于0。
则参数约束为:
当时,约束了不同来源的参数的相似性。
同样引入拉普拉斯矩阵,
与自己的不同情况和SVM相比较。
评价的标准为Mean AUC(area under ROC curve)。