论文阅读[2023][ICCE]360DIV: 360° Video Plus Depth for Fully Immersive VR Experiences

360DIV: 360° Video Plus Depth for Fully Immersive VR Experiences

会议信息：
Published in: 2023 IEEE International Conference on Consumer Electronics (ICCE)
作者：

1背景与挑战

360°视频不提供运动视差，如图1所示。当观看者移动时，虚拟场景随之而动，这大大降低了体验的质量。

在这项工作中，我们处理360°视频，以提供具有逼真深度感知的VR体验。

2 贡献

首先，我们实现了一个框架，可以自动将360°图像/视频加上深度信息转换为可以在VR中实时查看的3D场景重建。
其次，我们制作了一个实时渲染重建的工具，支持多个VR平台。该工具有几个在许多多媒体应用程序中很有用的功能，例如合并2D或3D覆盖或对象的能力，添加虚拟角色，以及跟踪观看者正在看的地方。

3系统建模

3.1纹理三角形网格

该框架采用两个等矩形360°视频作为输入，一个用于颜色，另一个用于深度图。利用深度来计算3D空间中每个像素的原始位置。本质上，原始场景被重建为一个由w * h个彩色点组成的大型3D点云，其中w × h为输入视频的分辨率。
彩色点云可以在VR中从各个角度观看。然而，如果观看者靠近几何图形，他们会注意到分散点之间的间隙，打破沉浸感。因此，选择使用纹理三角形网格代替。3D点被连接到相邻点的三角形所取代。网格细节级别是可定制的，但最好从每个像素两个三角形开始。
出于性能原因，网格中的三角形数量被抽取。之后，定义360°视频如何在3D网格上拉伸的纹理坐标被重新计算。对于许多环境，我们发现将三角形的数量减少到大约一百万个并不会明显降低质量。

3.2 修补

此时，所有三角形仍然连接在一起，如图2a所示。这就产生了连接前景和背景对象的细长三角形。这种拉伸的几何形状不存在于原始场景中，需要移除以保持观众的沉浸感。该算法根据三角形的周长删除三角形，并需要手动调整以获得最佳效果。
观看结果网格的观众将注意到被删除的三角形留下的孔，例如在图2b中。
我们提出了一种新的实现这种简单的绘制方法，计算速度非常快。实现重用之前删除的三角形作为一个单独的网格，它在所有其他几何图形之后呈现。将纹理更改为只使用背景的颜色。最后，纹理是模糊的，以减少空间频率和捕捉较少的观众的注意力。结果是暂时稳定的，不会分散观众，只要观众的头保持接近原来的360°相机。结果如图2c和2d所示。

5 开源链接
360DIV