PointNet系列代码复现详解(3)—PointNet_sem_seg

PointNet系列代码复现详解(1)—PointNet分类部分_葭月甘九的博客-CSDN博客

PointNet系列代码复现详解(2)—PointNet++part_seg_葭月甘九的博客-CSDN博客

train_semseg.py

 与前面代码基本一致，写法固定，就是对一些模型运行参数的设置以及训练流程的安排。

pointnet_sem_seg.py

class get_model(nn.Module):
    def __init__(self, num_class):
        super(get_model, self).__init__()
        self.k = num_class
        self.feat = PointNetEncoder(global_feat=False, feature_transform=True, channel=9)
        self.conv1 = torch.nn.Conv1d(1088, 512, 1)
        self.conv2 = torch.nn.Conv1d(512, 256, 1)
        self.conv3 = torch.nn.Conv1d(256, 128, 1)
        self.conv4 = torch.nn.Conv1d(128, self.k, 1)
        self.bn1 = nn.BatchNorm1d(512)
        self.bn2 = nn.BatchNorm1d(256)
        self.bn3 = nn.BatchNorm1d(128)

    def forward(self, x):
        batchsize = x.size()[0]
        n_pts = x.size()[2]
        x, trans, trans_feat = self.feat(x)
        x = F.relu(self.bn1(self.conv1(x)))
        x = F.relu(self.bn2(self.conv2(x)))
        x = F.relu(self.bn3(self.conv3(x)))
        x = self.conv4(x)
        x = x.transpose(2,1).contiguous()
        x = F.log_softmax(x.view(-1,self.k), dim=-1)
        x = x.view(batchsize, n_pts, self.k)
        return x, trans_feat

上面就是PointNet分割的代码，在前向传播函数中，首先是进行了特征提取，与分类代码特征提取不一样的是，它不使用全局特征，即对每个点进行处理得到局部特征。并且通道数由默认的3指定为9. 在通过PointNet提取到局部特征后就是三次卷积操作，第四次卷积没有应用批归一化和激活函数。再对张量x进行log_softmax操作，其中self.k表示输出通道数。

最后就是损失函数了， 交叉熵损失（loss）和特征变换正则化损失和。

class get_loss(torch.nn.Module):
    def __init__(self, mat_diff_loss_scale=0.001):
        super(get_loss, self).__init__()
        self.mat_diff_loss_scale = mat_diff_loss_scale

    def forward(self, pred, target, trans_feat, weight):
        loss = F.nll_loss(pred, target, weight = weight)
        mat_diff_loss = feature_transform_reguliarzer(trans_feat)
        total_loss = loss + mat_diff_loss * self.mat_diff_loss_scale
        return total_loss

在pointnet_utils.py中PointNetEncoder里，最后会进行判断，如果使用全局特征，即对整个点云进行处理得到一个全局特征表示。在这种情况下，函数返回三个值：x表示整个点云的特征表示，trans表示特征变换矩阵，trans_feat表示特征变换后的结果。否则不使用全局特征，只对每个点进行处理得到局部特征，并且将这些局部特征聚合起来得到整个点云的特征表示。在这种情况下，函数首先将x变形为(-1, 1024, 1)的形状，然后将其复制N次，其中N为点云中点的数量。这样就得到了一个大小为(B, 1024, N)的张量，其中B为输入数据的批大小。接着，函数将点的局部特征pointfeat和上述张量进行拼接，并返回拼接后的结果、特征变换矩阵和特征变换后的结果。

if self.global_feat:
    return x, trans, trans_feat
else:
    x = x.view(-1, 1024, 1).repeat(1, 1, N)
    return torch.cat([x, pointfeat], 1), trans, trans_feat

-1可以用来表示自动计算张量的维度大小。当使用view()函数改变张量形状时，如果我们不知道某一维的大小应该是多少，可以使用-1来让函数自动计算。在使用-1时，我们需要保证变换前后张量的元素总数是相同的，否则会抛出异常。

repeat（）就是把对应的维度进行拓展，下面一行就代表是把最后一维拓展N次，其他维不变。

x = x.view(-1, 1024, 1).repeat(1, 1, N)

PointNet系列代码学习就到此告一段落，然后只有分类真的复现了出了结果。

2023-03-14 19:59:32,599 - Model - INFO - Test Instance Accuracy: 0.894498, Class Accuracy: 0.859014
2023-03-14 19:59:32,600 - Model - INFO - Best Instance Accuracy: 0.904693, Class Accuracy: 0.872619
2023-03-14 19:59:32,600 - Model - INFO - End of training...