【AI视野·今日CV 计算机视觉论文速览 第151期 part2】Tue, 6 Aug 2019

AI视野·今日CS.CV 计算机视觉论文速览
Tue, 6 Aug 2019
Totally 63 papers
?上期速览✈更多精彩请移步主页

Interesting:

?学习引导网络用于深度补全技术,用于补全激光雷达数据的现有方法主要将rgb特征与深度信息特征进行衔接或者相加。这篇文章基于引导图像滤波的想法，设计除了一种新颖的引导网络用于从引导的rgb图像中预测出深度抽取核的权重，并将核用于从深度信息中抽取特征。这样的方法可以实现依赖于内容和空间变化的多模态融合。为了减小动态生成空间变化核带来的gpu消耗，文章中还提出了卷积分解来减少计算和内存的消耗，是的多级特征融合机制成为可能。(from 加拿大西蒙弗雷泽大学，GrUVi Lab)
文章中提出的架构包含两个子网络，引导网络和深度网络，其中包含了一系列编码和解码过程，并使用了3*3残差单元作为疾病结构。

上图中的引导模块首先基于图像得到引导特征，并与输入的稀疏特征作用得到新的深度特征。其中作用的部分利用卷积分解的方法将运算分解为了逐通道的卷积和交叉通道卷积两个部分：

最终得到的结果，可以看到在很多细节上恢复很好：

对引导核的可视化：

最后是在纽约深度数据上200点和500点的采样重建结果比较：

?图像引导的深度采样和重建，基于图像片平面的高效采样,研究人员提出了一种基于图像驱动的深度采样和重建策略，主要用于高效的激光雷达深度信息采样。首先利用包含一些容差参数的公式建模了逐片平面图像的线性深度模型（将图像中每一片看作是一个深度平面），并在室内室外验证了有效性。实验表明20-60个piece线性结构就可以有效恢复深度图。将深度对图像的采样率提高到了1/1200.同时提出额基于巨像素的通用采样及重建方法，对于各种重建方法，这种采样方法的结果优于栅格和随机采样模型。最终提出了超过基于图像引导深度补全算法的重建方法。(from以色列理工)

基于巨像素的采样方法：

5000个采样点下深度恢复的比较：

四种采样模式对应三种不同的重建方法的比较，显示出了本文采样方法的有效性：

与其他重建方法的结果比较：

?DIB-R基于可差分渲染的三维重建方法,二维图像是三维形状与光交互后的投影，也就是计算机图形学中所说的渲染过程。由于渲染中的光栅化过程包含了一系列离散的操作，使得渲染过程变得非差分，深度学习中的梯度无法有效的传播。这篇文章提出了一种可差分的框架是的图像中所有像素的的梯度都可以解析的计算。关键在于将前景光栅化的过程是为局域特性的权重插值、背景光删化的过程是为基于距离的全局几何聚集。这种方法可以对顶点位置、颜色、法向量、光源方向和纹理坐标等通过光照模型的编码进行精确的优化。最后研究人员在单图像三维目标预测和3d纹理目标生成上进行了验证，都基于2d监督信号进行训练。(from 英伟达)
下图显示了DIB-R方法的流程，通过输入图像预测几何、材质与光照。在训练时利用渲染以及位置的成像来计算图像损失。

对于光源和材质的预测结果：

真实环境中基于图像的三维重建渲染结果：

code:https://nv-tlabs.github.io/DIB-R/

our network samples nearby area around the initial mesh’s vertex locations and reasons an optimal deformation using perceptual feature statistics built from multiple input images. Extensive experiments show that our model produces accurate 3D shape that are not only vi- sually plausible from the input perspectives, but also well aligned to arbitrary viewpoints. With the help of physically driven architecture, our model also exhibits generalization capability across different semantic categories, number of input images, and quality of mesh initialization.
?Pixel2Mesh++多视角三维重建技术, 研究了基于已知视角rgb图像生成三维mesh的过程。先前的方法大多直接从先验生成形状，对应特定视角生成的形状质量较好，但对于新的任意视角则结果较差。这篇文章利用图卷积网络的方法将较差信息用于提高生成形状质量。这种方法学习预测出一系列变形来迭代的提升粗粒度形状的质量。在多视角几何的启发下，这一网络从初始mesh顶点位置附近采样，并利用多输入图像构建的感知特征统计推理优化的变形。实验表明这种方法可以预测精确的三维形状，不仅包括输入的视角还包括任意视点下的形状。在物理模型的驱动下，这种方法对不同语义类别、输入图像的数量和初始化网格的质量都有稳定的泛化能力。(from 复旦)
模型的架构图，包含了抽取几何特征和语义特征的CNN模型，初步生成形状的pixel2mesh模型，利用多视角形变的图网络进行优化的模型。

形变假设和基于相机参数的跨视角采样模型：

基于图网络的变形推理模型，首先利用图网络方法为每个假设估计权重，随后基于softmax归一化，最后加权所有的权重来得到优化的变形：

模型表现出的鲁棒性：

与各种方法比较的结果：

?压缩感知综述，主要集中于完全变分方法并以激光雷达作为例子。模拟了lidar中的噪声，提供了系列理论背景、不同情形下的压缩感知、一系列开箱即用的标准方法，为初学者提供了快速入门应用的指南。（from Hebrew University of Jerusalem）
包括了亚采样理论、重建理论、L1最小化、各种常规方法：Orthogonal Matching Pursuit (OMP)\Ridge Regression, aka LASSO、Gradient projection for sparse reconstruction (GPSR)、Spectral Projected Gradient for L1 minimization (SPGL1)
但是收敛慢、噪声布鲁棒、计算量大。
一些工具包：L1 Magic package，Nestorov’s algorithm (NESTA)，TVAL3 algorithm

---

ref:
ECCV2018 papers:
Reconstruction-based Pairwise Depth Dataset for Depth Image Enhancement Using CNN
MVTec D2S: Densely Segmented Supermarket Dataset
A Dataset of Flash and Ambient Illumination Pairs from the Crowd
Tackling 3D ToF Artifacts Through Learning and the FLAT Dataset
CNN-PS: CNN-based Photometric Stereo for General Non-Convex Surfaces
Robust structured light system against subsurface scattering effects achieved by CNN-based pattern detection and decoding algorithm
Reconstruction-based Pairwise Depth Dataset for Depth Image Enhancement Using CNN
Estimating Depth from **RGB and Sparse Sensing **
DDRNet: Depth Map Denoising and Refinement for Consumer Depth Cameras Using Cascaded CNNs
MVSNet: Depth Inference for Unstructured Multi-view Stereo
Deep Depth from Defocus: how can defocus blur improve 3D estimation using dense neural networks?

---

pic from http://himawari8.nict.go.jp/