第三天下午两大主题:图像处理传统项目之,局部特征与图像视频复原。
D3-PM-A. Learning and Matching Local Features
【Domain-Size Pooling in Local Descriptors: DSP-SIFT】
局部描述子中的域尺寸pooling
(UCLA)
一种改进的SIFT:求和(pooling)在空域和尺度域同时进行。
【 Learning Deep Representations for Ground-to-Aerial Geolocalization】
深度表达用于地面-空中摄影的地理定位
cross view匹配:从街景图(0°)查询航拍图(45°),在城市范围内查找。
传统CV方法无法处理此类差距。构建78K数据库,用CNN学习。
正确率10%~20%。
问题很新颖,当然可以后续利用更多其他信息。
【Understanding Deep Image Representations by Inverting Them】
利用反变换理解深度表达
invert:提取的特征可以看做一种编码,用特征重构原始图像。
由于许多特征是discriminative的,故其抛弃了一些底层统计量,所以重构过程需要regular项来恢复这些统计量。
研究了各类HOG, SIFT, CNN的重构结果。
【Situational Object Boundary Detection】
分情况的物体边界检测
传统边界检测方法对所有情况一视同仁(Monolithic) 。但同样的黑白图案在斑马图像中只是内部纹理,在滑雪图像中则是边界。
首先定义一系列不同的situation,每个situation训练一个边界检测器。
对测试图像,先分类,之后使用边界检测器。
situation可以使用预先定义的语义,或者图像内容基于Bag of Words或者CNN特征聚类。
边界检测器使用Structured Edge Forests训练。
绿色表示正确边缘,红色表示错误边缘。
【Fast 2D Border Ownership Assignment】
快速2D边界归属性判别
分辨边界的两侧属于前景(红)还是背景(蓝)。可以用于前景背景分割。
训练时,使用带有深度标记的数据库。
【A Flexible Tensor Block Coordinate Ascent Scheme for Hypergraph Matching】
灵活张量块坐标下降算法用于超图匹配
hypergraph matching:用于解图像匹配问题的新方法。
传统graph matching:两点通过edge连成一对;hypergraph matching:多点通过hyperedge连成一组。
D3-PM-B. Image and Video Processing and Restoration
【Generalized Video Deblurring for Dynamic Scenes】
运动场景的泛化视频去模糊
传统去模糊算法假设场景是静止的。本文专门处理运动图像的去模糊问题。
本文设计了一种能量模型,同时求解光流,并进行去模糊。
给每一像素估计一个kernel,不再假设全局或者分块的运动模式。
【Approximate Nearest Neighbor Fields in Video】
视频中的近似最近邻
ANN: 给定图像块,查找最相似的图像块。Approximate:不保证有最优解,但速度很快。
ANN-Field:整张图像中图像块的查询问题。可以利用空间相关性。用于纹理合成、图像去噪、超分辨率、上色、风格化。
本文从视频中的所有图像块查找到一个固定参考集中的图像块。
亮点:实时,单帧10ms。利用时间连续性和图像外观查找。
把彩色图作为reference,可以上色。
把photoshop结果作为reference,本文算法可以实现不同风格化:
【Single Image Super-Resolution From Transformed Self-Exemplars】
利用变换自相似做单张图片超分辨率
self-exemplar:用自己做例子,利用了图片的自相似性。不需要大规模额外图像训练。
本文:通过在图像中查找平面,更充分挖掘图像,允许图像块的几何变形(旋转、仿射变换)。
红色:待查找图像块
蓝色:只有平移的查找;绿色:包含旋转的查找。
【L0TV: A New Method for Image Restoration in the Presence of Impulse Noise】
L0TV:一种冲击噪声下图像复原的新方法
TV: Total Variation,一种图像处理的regularization方式。
本文使用L0 norm。后期使用PADMM(Proximal Alternating Direction Method of Multipliers)求解。
【On Learning Optimized Reaction Diffusion Processes for Effective Image Restoration】
优化的reaction diffusion过程用于图像复原
亮点:快速,可用GPU实现。
训练一个reaction diffusion model。提供了代码。
【Fast and Flexible Convolutional Sparse Coding】
快速灵活卷积系数编码
(Standford)