Python 异源mesh裁剪融合实现与优化

一、项目需求

对mesh进行裁剪，但发现若非mesh是致密的，那么裁剪边会出现锯齿状边缘，究其原因，是因为该裁剪方式没有对三角面片进行处理，而是直接处理的mesh的顶点，导致裁剪边不光滑，那么两个相邻的裁剪后mesh（尤其是异源mesh）放在一起的时候，会出现缝隙。

计划找到一种在三角面片层面对mesh进行裁剪的方案，用来解决缝隙问题。

二、解决方案

找到三个python第三方库，分别为pyvista、vedo、trimesh可以实现上述功能，下面对这个三个库进行测试比较。

1. 代码

import time
from datetime import timedelta

import numpy as np

import pyvista as pv

mvs_path = r"T:\ProjectData\SDF_Studio\GT_data\mvs_mesh_aligned.ply"

dataset = pv.read(mvs_path)
start_time = time.time()
bounds = [195.957, 211.373, 347.767, 362.355, 270.836, 286.781]
clipped = dataset.clip_box(bounds, invert=False)
end_time = time.time()
elapsed_time = end_time - start_time
formatted_time = str(timedelta(seconds=elapsed_time))
print(f"pyvista took  {formatted_time}")

p = pv.Plotter()
p.add_mesh(clipped, label='Clipped')
p.show()

import vedo

mesh = vedo.load(mvs_path)
start_time = time.time()
clipped_mesh = mesh.cut_with_box(bounds)
end_time = time.time()
elapsed_time = end_time - start_time
formatted_time = str(timedelta(seconds=elapsed_time))
print(f"vode took  {formatted_time}")
# 显示裁剪后的mesh
vedo.show(clipped_mesh)

import trimesh

mesh = trimesh.load_mesh(mvs_path)
start_time = time.time()
min_values = [195.957,347.767,270.836]
max_values = [211.373,362.355,286.781]
# 定义六个平面的法向量和原点
planes = np.array([
    [1, 0, 0, min_values[0], 0, 0],
    [-1, 0, 0, max_values[0], 0, 0],
    [0, 1, 0, 0, min_values[1], 0],
    [0, -1, 0, 0, max_values[1], 0],
    [0, 0, 1, 0, 0, min_values[2]],
    [0, 0, -1, 0, 0, max_values[2]]])

mesh = trimesh.intersections.slice_mesh_plane(
    mesh=mesh,
    plane_normal=planes[:, :3],
    plane_origin=planes[:, 3:],
    cap=False,
)

end_time = time.time()
elapsed_time = end_time - start_time
formatted_time = str(timedelta(seconds=elapsed_time))
print(f"trimesh took  {formatted_time}")
mesh.show()

2. 结果

pyvista:

vedo:

trimesh:

以上都可以实现在三角面片层面对mesh进行裁剪，接下来看看其效率和效果。

3. 耗时

pyvista took  0:00:19.446367
vode took  0:00:00.642607
trimesh took  0:00:01.582946

根据测试结果来看，vedo的效率最高，接下来用vedo来做大型的mesh裁剪融合实验。但在实验结果中发现其在边角上处理的并不好，仍有空隙存在。

改用trimesh进行测试，其边界就处理得比较好，但相同数据下，trimesh耗时是vedo的两倍。目前还仅是较大的尺寸进行融合，后续当体素设置为更小尺寸时，耗时会指数级别增长，所以还需优化。

三、优化探索

在这里记录所想到和已经实验的优化思路。

0. 分析

首先简单说一下trimesh的裁剪逻辑，它没有直接利用体素bound或者box进行裁剪方式，只有一个用平面切分mesh的方法，而且只返回法线正侧的mesh，见此处。所以想要裁剪出一个体素内的mesh，只能用6个平面循环切分得到，如上述代码。
那么很容易想到，用多个体素裁剪时会有重复计算。

1. 在体素边界处进行裁剪

先在所有体素边界处进行裁剪，然后得到边界处分割后的mesh，与原始mesh合并，在正常进行裁剪融合，但实验发现融合结果始终有缝隙存在，可能跟边界的顶点不好判别在哪一个体素有关系。
这个边框的mesh还比较有意思。

2. 用mesh分块进行裁剪

先找到一个大于体素的mesh分块，然后用这个mesh分块进行裁剪，实验发现用mesh分块裁剪确实很快，但在加上mesh分块的过程，与之前用整个mesh进行裁剪的耗时相当了。

def small_mesh(vertices,faces,min_v ,max_v ):
	'''在大型mesh中找到小的mesh分块'''
    # 找出满足条件的顶点的索引
    inside_indices = np.where(
        (vertices[:, 0] > min_v[0]) & (vertices[:, 0] < max_v[0]) &
        (vertices[:, 1] > min_v[1]) & (vertices[:, 1] < max_v[1]) &
        (vertices[:, 2] > min_v[2]) & (vertices[:, 2] < max_v[2])
    )[0]

    # 根据这些索引找到相关的三角面片
    inside_faces = np.any(np.isin(faces, inside_indices), axis=1)

    # 创建新的 mesh
    new_vertices = vertices[inside_indices]
    new_faces=faces[inside_faces]
    index_map1 = {old: new for new, old in enumerate(inside_indices.flatten())}
    new_faces = [[index_map1[idx] for idx in face] for face in new_faces if all(idx in index_map1 for idx in face)]
    new_mesh = trimesh.Trimesh(vertices=new_vertices, faces=new_faces)
    return new_mesh

3. 用缓冲区的思路裁剪

之所以有缝隙存在，是因为使用顶点判别时没有顾及到三角面片，如果设定一个缓冲区，那么三角面片就可以覆盖边界从而消除缝隙。
那怎么实现这个缓冲区的思路呢，其实也简单，在遍历顶点的时候，对每个顶点在6个方向上平移一个设定值，判断其是否会落入到其他体素内就可以了。若没有落入其他体素，记得不要重复统计该顶点。

# 核心代码
voxel_dict1 = defaultdict(list)
    buffer = 0.2  # 设置缓冲区大小
    directions=[np.array([1, 0, 0]), np.array([-1, 0, 0]), np.array([0, 1, 0]), np.array([0, -1, 0]), np.array([0, 0, 1]), np.array([0, 0, -1])]
    for i, v in tqdm(enumerate(vertices1)):
        k = ((v - global_min) / voxel_size).astype(np.int32)
        voxel_dict1[tuple(k)].append(i)
        # 将顶点向六个方向移动一个缓冲值，然后检查移动后的顶点是否会落入其他体素中
        for direction in directions:
            new_v = v + direction * buffer
            new_k = tuple(((new_v - global_min) / voxel_size).astype(np.int32))
            if not np.array_equal(new_k, k):   # 检查顶点是否移动到了其他体素中
                voxel_dict1[tuple(new_k)].append(i)

以下分别是无缓冲区、缓冲值为0.1,、缓冲值为0.2的结果。



耗时8分钟左右，且跟体素尺寸无关，不会随着体素减小耗时指数倍增长。

实验表明，这种方法简单高效，可以有效去除异源mesh融合时的缝隙。在这里，最朴素的思想反而是最实用的。

---

打完收工