三维模型相机视角投影详细介绍及python程序解析

【版权声明】
本文为博主原创文章,未经博主允许严禁转载,我们会定期进行侵权检索。

更多算法总结请关注我的博客:https://blog.csdn.net/suiyingy,或”乐乐感知学堂“公众号。
本文章来自于专栏《Python三维模型处理基础》的系列文章,专栏地址为:https://blog.csdn.net/suiyingy/category_12462636.html。    

        三维模型在相机视角中投影是指模拟相机观察到的模型图像,其成像效果与相机位置姿态(外参)和相机参数(内参)密切相关。三维点云或模型向固定平面进行投影的原理及其详细python程序请参考博文《python三维点云投影(一)》、《python三维点云投影(二)》,地址分别为“https://blog.csdn.net/suiyingy/article/details/124111743”、“https://blog.csdn.net/suiyingy/article/details/124136567”。这种平面投影是直接进行投影,通常不存在畸变,属于正交投影。本节所介绍的视角投影则属于一种透视变换,更加接近真实成像结果。

        正交投影和透视投影是计算机图形学中常用的两种投影方式。正交投影,也称为平行投影,是指从一个方向上垂直地投射到平面上,类似于我们看物体时所使用的方法。在正交投影中,物体的所有线段都是平行的,没有近大远小的效果,因此适合于制作平面化的图像,比如建筑图纸、工程制图等。透视投影则是一种更加真实和逼真的投影方式,它模拟了人眼在看远近不同的物体时所产生的远近感。在透视投影中,与观察者距离较远的物体看起来比较小,而距离较近的物体则看起来比较大。透视投影通常应用于视觉效果比较重要的情景,比如电影、游戏、虚拟现实等。需要注意的是,在计算机图形学中,正交投影和透视投影都是用投影矩阵来实现的。而具体使用哪种投影方式取决于应用场景和需求。

        在计算机图形学领域,三维模型的投影和旋转是非常重要的基础操作。通过投影,我们可以将三维模型映射到二维平面上,从而方便进行可视化和分析。而旋转则可以改变模型的角度和姿态,使其在不同的视角下展示。下文也会将结合详细的python程序来对比两种方法的投影或成像结果。文中所涉及的详细Python示例程序下载地址为“https://download.csdn.net/download/suiyingy/88471678”,或者在“乐乐感知学堂”內回复“3d处理基础”即可。

1 python环境准备

        首先,我们需要安装一些必要的python库。在这篇文章中,我们将使用以下库进行三维模型的投影和旋转:

        (1)cv2:用于图像处理和显示

        (2)trimesh:用于加载和处理三维模型

        (3)numpy:用于进行数值计算和矩阵操作

        (4)open3d:用于可视化和操作点云数据

        (5)pyrender:用于渲染三维模型

        其中,pyrender是本节示例程序中的核心,后续博文还将介绍基于pyopengl等python库进行渲染投影。你可以通过pip命令来安装这些库:

pip install opencv-python trimesh numpy open3d pyrender

2 示例模型加载与可视化

        本节示例模型为一个近似三棱柱,近似为一系列直立的三角形从左向右(x方向)堆叠而成,其侧面近似为三角形,底面为矩形。示例模型动画如下图所示,默认不加载图像贴图。

图1 示例模型动画

        MeshLab中示例模型显示结果如下图所示,默认会显示贴图效果,即OBJ文件中的RGB信息(与点云顶点坐标位于同一行,并且已经归一化),后续博文会详细介绍python三维模型的贴图方法。这里在软件中显示出了坐标轴,x轴方向朝右,y轴方向朝上,z轴方向朝外,三个坐标轴方向满足右手定则。可以看到,当前为三维模型的俯视图。大多数软件和程序可视化三维模型时都会默认切换到俯视图视角。这相当于在模型正上方放置一个相机观察到的图像,或者相当于我们从顶部观察图像。相机朝向默认为z轴负方向。

三维模型相机视角投影详细介绍及python程序解析_第1张图片

图2 MeshLab可视化效果(含坐标轴与纹理)

        我们使用trimesh库加载示例模型。假设我们的模型文件为'model.obj',你可以将其替换成你自己的模型文件路径。

mesh = trimesh.load('model.obj', force='mesh')
mesh.show()

3 相机设置

        投影是将三维模型映射到二维平面上的过程,我们将采用透视投影的方式进行投影。在进行投影之前,我们需要设置相机的参数,包括焦距、图像宽度和高度等。这些参数会影响最终投影结果的大小和比例。在示例中,我们假设相机的焦距为800和600,图像的宽度和高度也为800和600。

w, h = 800, 600  # 图像的宽度和高度
fx, fy = 800, 600  # 相机焦距

        假设模型在宽度和高度方向上的实际尺寸为W和H,D表示相机距模型的距离。焦距和像距之间有如下近似关系。假设w=fx, 那么D=W;假设h=fy, 那么D=H。也就是说相机放置距离与视野范围相等(且平移到中心位置)时,即可看全整个视野。

w : W = fx : D
h : H = fy : D

        上述关系如下图所示。

三维模型相机视角投影详细介绍及python程序解析_第2张图片

图3 成像示意图

        在理想情况下,上述设置可看到整个视野。但是模型自身形状也会对光线形成阻挡。以下图为例,在没有阻挡的情况下,相机可直接看到模型底部AB。但由于模型顶部CD对光线形成了阻挡,这导致实际模型并不能被观察完整。

三维模型相机视角投影详细介绍及python程序解析_第3张图片

图4 视线阻挡

        为了使视野可看到更多内容,即增大H和W,我们需要增大距离D或者减小焦距f。这说明距离越远或者焦距越小,则视野越大。下文示例程序中设置了比例因子ratio,可使得视野按照长边距离进行等比例放大。Ratio为0.7和1.0的模型俯视投影图分别如下图所示。显然,Ratio为1.0时投影成像发生了阻挡。

三维模型相机视角投影详细介绍及python程序解析_第4张图片三维模型相机视角投影详细介绍及python程序解析_第5张图片

图5 ratio分别为0.7和1.0时的效果图

        相机姿态位置采用维度为3x4的矩阵来进行表示,即旋转和平移矩阵(RT),如下所示。矩阵前3列(旋转矩阵R)表示相机姿态,用于控制成像所在平面,最后一列(平移矩阵T)则表示相机放置的位置坐标(x, y, z)。Pyrender会在最后一行补充[0, 0, 0, 1]使矩阵转换为方阵,维度为4x4,进而可通过矩阵变换实现平移功能(原始待变换坐标x、y、z需要表示为x、y、z、1)。

RT =[R T]=[X Y Z camera_position]
[[r11, r12, r13, x],
[r21, r22, r23, y],
[r31, r32, r33, z]]

4 俯视图

        Pyrender相机默认位置在模型中央上方,并且相机默认朝向为z轴负方向,因而可得到俯视图。因此,旋转矩阵为单位矩阵,即不需要对相机姿态进行旋转操作。我们可以通过平移矩阵控制相机位置,相机放置在模型xy平面中心,并且位于模型顶端。x方向的中心位置为d[0]*ratio/2,y方向中心位置为0,z方向位置由上述内参计算得到。程序中我们将相机位姿矩阵RT设置如下:

camera_pose = np.array([
        [1.0, 0.0, 0.0, d[0]*ratio/2],#相机x方向的位置
        [0.0, 1.0, 0.0, 0.0],  # 设置相机位置为 (d[0]*0.7/2, 0, max(d[0], d[1]))
        [0.0, 0.0, 1.0, max(d[0], d[1])],
        [0.0, 0.0, 0.0, 1.0]
])

        构建场景:接下来,我们使用pyrender库构建一个场景。场景中包含了三维模型和相机。

scene = Scene(ambient_light=np.array([1.0, 1.0, 1.0, 1.0]), bg_color=[1,0,0,1])
# 添加模型到场景中
scene_mesh = Mesh.from_trimesh(mesh)
scene.add(scene_mesh)
# 添加相机到场景中
camera_pose = np.array([
    [1.0, 0.0, 0.0, d[0]*0.7/2],  # 模型x方向中心位置
    [0.0, 1.0, 0.0, 0.0],
    [0.0, 0.0, 1.0, max(d[0], d[1])],
    [0.0, 0.0, 0.0, 1.0]
])
camera_intrinsics = IntrinsicsCamera(fx=fx, fy=fy, cx=w/2, cy=h/2)
scene.add(camera_intrinsics, pose=camera_pose)

        渲染图像:最后,我们使用OffscreenRenderer类对场景进行渲染,并得到投影后的图像。

renderer = OffscreenRenderer(w, h)
color_image, _ = renderer.render(scene)

        示例模型俯视图成像结果如下图所示。详细Python示例程序下载地址为“https://download.csdn.net/download/suiyingy/88471678”,或者在”乐乐感知学堂“內回复”3d处理基础“即可。

三维模型相机视角投影详细介绍及python程序解析_第6张图片

图6 俯视图

5 左视图

        假设三维模型的原始坐标系为x、y、z。三维模型坐标系x轴方向朝右,y轴方向朝里,z轴方向朝上,三个坐标轴方向满足右手定则。左视图成像时,相机从左侧看向右侧,因此其z轴方向朝左,与相机朝向相反,即z=-x([-1, 0, 0])。假设将高度方向作为y轴,那么y=z([0, 0, 1])。根据右手定则,相机x轴方向朝里,即x=-y([0, -1, 0])。因此,相机姿态矩阵R计算结果为

R = [[0, 0, -1],
[-1, 0, 0],
[0, 1, 0]]。

        R的列向量分别对应x轴、y轴和z轴。原始坐标系和变换后坐标系示意图如下。

三维模型相机视角投影详细介绍及python程序解析_第7张图片

图7 左视图坐标系变换

        左视图示例程序中将相机放置在x轴上,平移T矩阵设置为 [-max(d[1], d[2]), 0.0, 0.0]。矩阵的坐标位置可通过上述介绍的相机内参变换关系计算得到。因此,相机位姿矩阵RT设置如下:

camera_pose = np.array([
    [0.0, 0.0, -1.0, -max(d[1], d[2])],  # 设置相机位置
    [-1.0, 0.0, 0.0, 0.0],
    [0.0, 1.0, 0.0, 0.0],
    [0.0, 0.0, 0.0, 1.0]
    ])

        示例模型左视图成像结果如下图所示。详细Python示例程序下载地址为“https://download.csdn.net/download/suiyingy/88471678”,或者在“乐乐感知学堂”內回复“3d处理基础”即可。

三维模型相机视角投影详细介绍及python程序解析_第8张图片

图8 示例模型左视图

6 旋转投影

        原始坐标方向为x轴朝右、y轴朝里、z轴朝上,左视图中x轴朝外、y轴朝上、z轴朝右。相机放置在z轴正方向,并看向z轴负方向。根据前文所述,相机位姿旋转矩阵R的实际意义表示了相机的朝向,可通过旋转操作得到。

        下图中展示了3种可将原始坐标系转换为左视图坐标系的方案,分别为:

        (1)绕x轴逆时针旋转90°,再绕y轴顺时针旋转90°。

        (2)绕y轴顺时针旋转90°,再绕z轴顺时针旋转90°

        (3)绕z轴顺时针旋转90°,再绕x轴逆时针旋转90°

三维模型相机视角投影详细介绍及python程序解析_第9张图片

图8 三种旋转过程示意图

        根据旋转角度可计算得到旋转矩阵,详细计算原理和过程请参考博文《点云旋转平移(一)—基础知识介绍》和《点云旋转平移(三)—python open3d点云旋转》,地址分别为“https://blog.csdn.net/suiyingy/article/details/124374486”和“https://blog.csdn.net/suiyingy/article/details/124403277”。Open3d中提供了相应函数,关键程序如下所示。详细Python示例程序下载地址为“https://download.csdn.net/download/suiyingy/88471678”,或者在“乐乐感知学堂”內回复“3d处理基础”即可。

pcd = o3d.geometry.PointCloud()
# 左视图
R = pcd.get_rotation_matrix_from_xyz((np.pi/2, -np.pi/2, 0))  # 绕x轴逆时针旋转90°,再绕y轴顺时针旋转90
R = pcd.get_rotation_matrix_from_xyz((0, -np.pi/2, -np.pi/2)) # 绕y轴顺时针旋转90°,再绕z轴顺时针旋转90°
R = pcd.get_rotation_matrix_from_zyx((-np.pi/2, 0, np.pi/2))  # 绕z轴顺时针旋转90°,再绕x轴顺时针旋转90°
print('R: ', R)

        Open3d计算结果与上一节完全一致,验证了我们的描述过程。这里需要注意旋转方向。一般情况下,逆时针旋转角度为正,顺时针旋转角度为负。方向判断可通过右手定则。拇指方向沿着旋转轴正方向,当旋转方向与四指弯曲方向一致时,其为逆时针方向;当旋转方向与四指弯曲方向相反时,其为顺时针方向。

7 方向向量投影

        根据上文描述,旋转矩阵关键设置来源于相机朝向,即变换后的z轴方向。假设新的z轴用向量n1来表示,在左视图中n1可表示为[-1, 0, 0]。原始坐标系的z轴用向量n0来表示,取值为[0, 0, 1]。我们的目标是将向量n0旋转到n1,那么旋转轴向量r_axis通过向量叉乘即可得到。在open3d中,旋转轴向量的模长为旋转角度,即n0n1之间的夹角,并且根据旋转轴向量可求得旋转矩阵,过程如下所示。

# 默认z轴方向
n0 = np.array([0, 0, 1])
# 计算旋转角度
the = np.arccos(np.dot(n0, n1) /  np.linalg.norm(n0) / np.linalg.norm(n1))
# 根据向量叉乘计算旋转轴
r_axis = np.cross(n0, n1)
# open3d中旋转向量的模长表示旋转角度
r_axis = r_axis / np.linalg.norm(r_axis) * the

# 计算旋转矩阵
pcd = o3d.geometry.PointCloud()
R = pcd.get_rotation_matrix_from_axis_angle(r_axis.T)
pcd.rotate(R)

        将z轴调整好之后,我们可以通过控制绕z轴的旋转来控制成像平面的角度。以左视图为例,我们需要绕z轴顺时针旋转90°,并得到相应的旋转矩阵。上述两个旋转矩阵相乘即可得到最终RT矩阵。关键程序如下所示,详细Python示例程序下载地址为“https://download.csdn.net/download/suiyingy/88471678”,或者在“乐乐感知学堂”內回复“3d处理基础”即可。

# 绕z轴再次旋转
rz = pcd.get_rotation_matrix_from_xyz((0, 0, theta))
R = R.dot(rz)
print('R2: ', R)

8 参考文献

        (1)OpenCV官方文档:https://docs.opencv.org/

        (2)trimesh官方文档:https://trimsh.org/

        (3)open3d官方文档:http://www.open3d.org/docs/

        (4)pyrender官方文档:https://pyrender.readthedocs.io/

        本文介绍了如何使用Python进行三维模型的投影和旋转。通过使用开源库,我们可以方便地对模型进行可视化和分析。投影可以将三维模型映射到二维平面上,便于观察和处理。旋转可以改变模型的角度和姿态,从不同的视角来观察模型。希望本文能够对你理解三维图形学领域的投影和旋转有所帮助。

【版权声明】
本文为博主原创文章,未经博主允许严禁转载,我们会定期进行侵权检索。

更多算法总结请关注我的博客:https://blog.csdn.net/suiyingy,或”乐乐感知学堂“公众号。
本文章来自于专栏《Python三维模型处理基础》的系列文章,专栏地址为:https://blog.csdn.net/suiyingy/category_12462636.html。  

你可能感兴趣的:(Python三维模型处理基础,三维模型,投影,视角投影,相机位姿,相机参数)