昨天今天明天专题-计算机视觉与图形学005

《NeRF-Supervision: Learning Dense Object Descriptors from Neural Radiance Fields》
摘要：薄、反光的物体，如叉子和搅拌器在我们的日常生活中很常见，但它们对于机器人的感知尤其具有挑战性，因为使用 RGB-D 相机或多视图立体技术很难重建它们。虽然传统的方法对此类物体有困难，但神经辐射场 (NeRF) 最近已被证明在对具有薄结构或反射材料的物体进行视图合成方面非常有效。在本文中，我们探讨了将 NeRF 用作鲁棒机器人视觉系统的新监督来源。特别是，我们证明了场景的 NeRF 表示可用于训练密集对象描述符。我们使用优化的 NeRF 来提取对象的多个视图之间的密集对应关系，然后使用这些对应关系作为训练数据来学习对象的视图不变表示。 NeRF的使用与使用深度图的传统方法相反，密度场允许我们用一种新颖的深度分布公式重新表述对应问题。使用我们的方法监督的密集对应模型显着优于现成的学习描述符 106%，并且优于我们使用多视图立体监督的基线 29%。此外，我们展示了学习的密集描述符使机器人能够执行准确的 6-DoF 拾取和放置薄的和反光的物体。

论文地址：https://arxiv.org/pdf/2203.01913.pdf

《Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields》
尽管神经辐射场 (NeRF) 已经在物体和小空间有界区域上展示了令人印象深刻的视图合成结果，但它们在“无界”场景是困难的，其中相机可能指向任何方向，内容可能存在于任何距离。在这种情况下，现有的类似 NeRF 的模型通常会产生模糊或低分辨率的渲染（由于附近和远处物体的不平衡细节和比例），训练速度很慢，并且由于任务的固有模糊性可能会出现伪影。从一小组图像重建一个大场景。我们提出了一个使用非线性场景参数化、在线蒸馏和
一种新颖的基于失真的正则化器，以克服无界场景带来的挑战。我们的模型被称为“mip-NeRF 360”，因为我们针对的是相机围绕一个点旋转 360 度的场景，与 mip-NeRF 相比，均方误差降低了 57%，并且能够生成逼真的合成视图和详细的深度用于高度复杂、无界的现实世界场景的地图。

论文地址：https://arxiv.org/pdf/2111.12077.pdf

《NeRF in the Dark: High Dynamic Range View Synthesis from Noisy Raw Images》
神经辐射场 (NeRF) 是一种从姿势输入图像的集合中合成高质量新颖视图的技术。与大多数视图合成方法一样，NeRF 使用色调映射低动态范围（LDR）作为输入；这些图像已由有损相机管道处理，该管道可以平滑细节、剪辑高光并扭曲简单的原始传感器数据的噪声分布。我们将 NeRF 修改为直接在线性原始图像上进行训练，保留场景的完整动态范围。通过从生成的 NeRF 渲染原始输出图像，我们可以执行新颖的高动态范围 (HDR) 视图合成任务。除了改变相机视点，我们还可以操纵焦点，曝光和事后的色调映射。尽管单个原始图像看起来比经过后处理的图像噪声大得多，但我们表明 NeRF 对原始噪声的零均值分布具有高度鲁棒性。当针对许多嘈杂的原始输入 (25-200) 进行优化时，NeRF 生成的场景表示非常准确，以至于其渲染的新颖视图优于在相同宽基线输入图像上运行的专用单图像和多图像深度原始降噪器。因此，我们称为 RawNeRF 的方法可以从在近黑暗中捕获的极其嘈杂的图像中重建场景。

论文地址：https://arxiv.org/pdf/2111.13679.pdf

更多计算机视觉与图形学相关资料，请关注微信公众号：计算机视觉与图形学实战

如果您认为上面的内容对您有一定的价值，可以对我们进行小小的赞助，来支持我们的工作，因为后续打算构建自己的网站，谢谢：