互联网环境下大规模图像的内容分析笔记

1 自动图像标注

　　典型的多标记学习问题。流行的算法：

　　（1）基于分类的方法

　　（2）基于概率建模的方法

　　（3）互联网图像相关的方法，包括基于搜索的图像标注方法；图像标注改善；多标记学习算法

　　特征表示方法：

　　（1）全局特征

　　（2）基于区域的特征

　　（3）基于子块的特征

　　（4）多标记稀疏编码算法，比较复杂，涉及到了高斯混合模型和数据降维

　　测试：准确率和查全率。怎样度量两张图像的标记向量之间的语义相似度来帮助有效的特征提取。怎样度量多个标记的训练图像和待标注图像之间的语义相似度。

2、大规模基于搜索的图像标注

　　（1）信息检索

　　　　查询词->同义词扩展->查询文档中的原始查询词（或同义词）之间的相似度加权求和->伪相关反馈改善搜索结果

　　（2）基于搜索的图像标注

     目标：给定一个待标注图像，找到最相关的关键字来标注图像。

分为四部分：

准备：在photosig摄影论坛上抓取2.4million张图像。

a.采用CBIR技术来建立视觉上与待标注图像相似的图像子集；

提取64维的特征（特征提取）：6维颜色矩，44维带状相关图，14维颜色纹理矩；采用基于K-means的索引算法（聚类）

b.用基于文本的关键字检索技术来为每幅图像产生一个有序的备选图像标注列表；

    新的基于if-ikf的评分策略；文本搜索引擎

c.用一个合并算法把所有的备选标注转化成一个新的候选标注列表；

    也就是对关键字进行评分和排序

d.用基于RWR的图像标注改善算法来优化图像标注；

    传统的基于WordNet的方法。图排序问题，随机游走。

    图的建立：候选标注作为图G的顶点，基于co-occurrence的相似度作为边的权重。

e.图像标注的拒绝策略

    估计系统标注图像的置信度