基于TPU-MLIR实现UNet模型部署-决赛答辩02

队伍:AP0200023

目录

初赛

一、 模型导出优化

1.1 直接倒出原始模型并转换

1.2 导出模型前处理

1.2.1 导出Resize

1.2.2 导出归一化

1.3导出模型后处理

1.3.1导出 Resize 与

1.3.2导出 ArgMaxout

1.3.3导出特征转RGB

复赛

 一、 确定baseline

二、优化模型

复赛结果总结

三、遇到的问题总结

1. ONNX转MLIR

2. MLIR转bmodel

3. MLIR推理代码 BUG 【已经解决了】

四、 一些想法和建议


初赛

一、 模型导出优化

1.1 直接倒出原始模型并转换

报错Pad节点输入问题,修改源码报错解决

x1 = F.pad(x1, [diffX // 2, diffX - diffX // 2,
                diffY // 2, diffY - diffY // 2])
x1 = F.pad(x1, [diffX // 2, diffX - diffX // 2,
                        diffY // 2, diffY - diffY // 2], mode="constant",
value=0)

1.2 导出模型前处理

1.2.1 导出Resize

x = F.interpolate(x, (h // 2, w // 2), mode='bilinear')

基于TPU-MLIR实现UNet模型部署-决赛答辩02_第1张图片

原始Unet在UINT8输入下做Resize,但是这个操作不能直接导出到ONNX,因此测试了FP32 Resize和FP32归一化Resize,还有Resize模式bicubic bilinear。

工具链不支持bicubic。最终使用bilinear结果差距很大。

1.2.2 导出归一化

x = x / 255.0 #                     1.导出除法
x = x * (1.0 / 255.0) #             2.导出乘法
param = self.unet.inc.double_conv[0].weight / 255.0
self.unet.inc.double_conv[0].weight = torch.nn.Parameter(param,
requires_grad=False) #              3.首层卷积权重/ 255.0

基于TPU-MLIR实现UNet模型部署-决赛答辩02_第2张图片

上述三中归一化操作对整体耗时影响很小,第三种方法FP32速度最快,但是可能INT8量化有问题。

1.2.3导出BGR2RGB

经过测试 OpenCV +切片比 PillowSkimage 读图速度快,因此考虑将BGR2RGB转出到 ONNX ,使用 Gather 算子实现。

param = param[:, [2, 1, 0], ...]

基于TPU-MLIR实现UNet模型部署-决赛答辩02_第3张图片

使用 Gather 会造成额外的拷贝,后面又改进成把首层卷积核顺序反转,这样的速度最快,且没有任何负面影响。

1.3导出模型后处理

1.3.1导出 Resize 与

前处理相似。

1.3.2导出 ArgMaxout

out = out.argmax(-1)

模型转换报错不支持 ArgMax ,换如下实现:

out = torch.lt(out[0, 0], out[0, 1])        # Gather + Less
out = self.conv(out) > 0                    # Conv + Greater

基于TPU-MLIR实现UNet模型部署-决赛答辩02_第4张图片

 尝试构造 Conv 用来实现两个 Channel 做差, Conv 有可能以INT8运行,速度比较快。

conv = nn.Conv2d(2, 1, kernel_size=1, stride=1, padding=0, bias=False)
conv.weight = nn.Parameter(
    torch.tensor([-1, 1]).to(conv.weight).reshape(conv.weight.shape),
    requires_grad=False)

基于TPU-MLIR实现UNet模型部署-决赛答辩02_第5张图片

1.3.3导出特征转RGB

out = out.to(torch.uint8) * 255
out = torch.cat([out, out, out], -1)

复赛

 一、 确定baseline

复赛的比赛说明中以模型运行速度为准,因此初赛的很多工作都用不上了。转而变成了纯 UNET 模型优化。

我使用 UNET -Scale1.0输入1918x1280进行模型转换量化,最终作为 BaseLine ,结果如下:

flops: 3604915801600, runtime: 204.196060ms, ComputationAbility: 17.654188T
195.027445    0.992235  204.196060  1.675526e+09  2023-02-04

模型 DICE 分数很高,将该模型预测的结果作为 GT。

二、优化模型

1.经过观察发现模型中下采样16倍导致1918的输入无法整除,造成了额外的 Padding ,所以我尝试输入1920x1280测试模型速度。由于输入图片为1918x1280,如果直接 Resize 会造成失真,我们选择在最下面Padding2个像素,结果如下:

0.992251  199.453278  1.675657e+09  2023-02-06

可以看到模型 DICE 分数提升,并且检测速度变快,最终得分200。

2.优化反卷积

同样为了解决下采样16倍产生额外的 Padding 问题,尝试将 Padding 移动到 ConvTranspose 中,查阅 ONNXop 介绍可知 output _ padding 属性可以设置。

0.742231  199.346721  1.675677e+09  2023-02-06

3.公布第一轮成绩时我发现其他队伍分数很高,模型的 DICE 分数在98-99做有,推理分数30-40左右,最终的得分比我高很多,所以我同样选择降低分辨率。

使用Scale1.0和640x959640x960得到如下结果:

0.776212   42.033154  1.675665e+09  2023-02-06
0.777545   39.177540  1.675695e+09  2023-02-06

速度分很好,但是 DICE 分数很低,怀疑是Scale1.0模型导致的,然后使用Scale0.5模型继续测试。

0.990611   41.376142  1.676272e+09  2023-02-13
0.990987   39.177540  1.676293e+09  2023-02-13

速度分和精度分都上来了,达到了360分。

4. 继续缩小输入尺寸

为了保证输入宽高比例为3:2同时尽量满足16倍数,我测试了下面几个组合

基于TPU-MLIR实现UNet模型部署-决赛答辩02_第6张图片

 实验发现当尺寸在560x368附近时,模型尚可保持精度,当尺寸更小的时候精度掉的较多。

5. 改进分割前后处理

比赛最后几天榜单更新,然后为了冲榜继续缩小输入尺寸,最终定为304x208,满足16的倍数和长宽比3:2。

经过本地测评发现精度丢失非常严重,然后开始优化前后处理。

(1) 前处理

由于图片尺寸太小, Resize 方法带来的结果有所不同。

基于TPU-MLIR实现UNet模型部署-决赛答辩02_第7张图片

 使用 INTER _ CUBICINTER _ LINEARINTER _ NEAREST 得到的结果均类似左图,噪声的面积较大,使用 INTER _ AREA 则如右图,噪声叫小。

(2) 后处理

由于后处理时网络对噪声预测的分数较高使用 ArgMax 后会有一定混淆,因此我使用类似 SoftMax 的操作,对检测数值接近且在一定范围内的预测结果置为背景,代码如下:

bg, qg = out[..., 0], out[..., 1]
diff = bg - qg
flag = diff < 0
mi = np.abs(out).min(axis=2)
new_flag = diff[flag] / mi[flag] < -thres
diff[flag] = -new_flag.astype(np.float32)

(3) 去除多余联通域

经过过滤一定范围内的差值,可以减少对噪声的检测。经过多组实验最终确认 thres 为2.2。除此之外,预测的结果存在多余区域,如图:

基于TPU-MLIR实现UNet模型部署-决赛答辩02_第8张图片

 通过过滤除了最大联通域区域以外的区域可以避免多余区域。

def remove_no_connected_gray(gray):
    num_labels, labels, stats, centroids =
cv2.connectedComponentsWithStats(gray, connectivity=8)
    quyuId, pixNums = np.unique(labels, return_counts=True)
    mask_background = quyuId != 0
    quyuId, pixNums = quyuId[mask_background], pixNums[mask_background]
    if quyuId.shape[0] == 1:
        return np.ones_like(gray)
    else:
        maxId = quyuId[pixNums.argmax()]
        mask = (labels == maxId).astype(np.uint8)
        return mask

(4) 对于边缘不平滑的预测,如图:

基于TPU-MLIR实现UNet模型部署-决赛答辩02_第9张图片

使用形态学开运算和高斯滤波可以让边缘平滑,去除突起:

out = cv2.medianBlur(opening, 9)

实验多种滤波核大小,3/6/9/11/13发现核较大精度较高,最终选择9达到了较好的分数。

(5) 形态学运算去除其他噪声

经过滤波等操作后的图像仍然存在边缘突出,分割图内部空洞,边缘异常等问题,最终采用形态学运算进行改善。使用腐蚀去除边缘突出,使用膨胀填充图像空洞。

基于TPU-MLIR实现UNet模型部署-决赛答辩02_第10张图片

kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (k, k))
# kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (k, k))
opening = cv2.morphologyEx(img, cv2.MORPH_OPEN, kernel, 1)

同样,滤波核(十字椭圆圆形),滤波核尺寸3/6/9/11/13等通过多组实验确认。

前面有很多超参如 thres 和滤波 kernel 大小形状均是通过本地实验,使用 BaseLine 得到的 GT 计算 dice 分数确定的最优解。最终最后一次提交的结果如下:

391.288683    0.952803    3.991613  1.677598e+09  2023-02-28

复赛结果总结

经过几次提交得到的结果可以分析出,在模型 DICE 分数上差距较小,均在95-99分之间,上下浮动不超过5分,但是时间分数上不同尺寸的输入可以带来1-200的差距,因此只能在输入尺寸上下文章。由于前后处理不计算耗时,因此我最终选择304x208输入尺寸,并改进后处理模块实现了本次比赛模型速度最快,总分第4的成绩。

三、遇到的问题总结

1. ONNX转MLIR

1.1在 ONNX 注册了预处理后需要同时改变--mean0,0,0--scale1,1,1- pixel -formatbgr1.2ONNX中的 Resize / ArgMax 在 MLIR 中不支持,更换其他算子1.3ONNX中的 Pad 缺少参数报错,修改 PyTorch 模型1.4不支持UINT8数据格式,这部分生成图片放到 CPU 做。

2. MLIR转bmodel

2.1编译对称量化模型时-- tolerance 设置太高会导致编译失败,降低分数为0.80.42.2编译非对称量化模型时分数很低也会报错,速度提升也很小,放弃了。2.3编译模型时尺寸大的耗时严重,并且推理耗时也很大,最后选择小尺寸。

3. MLIR推理代码 BUG 【已经解决了】

比赛初始阶段提供的 MLIR 推理代码有问题,导致有一次提交没结果,后来官方修改更新的代码正常了。

四、 一些想法和建议

1.希望 model _ transform 工具实现 TPU 支持的常用的数据预处理 OP ,如果归一化和通道转换,作为单独的 OP ,这样就不需要写 CPU 的实现了。

2.希望 model _ transform 在遇到报错的 OP 能给出 OP 名字等信息,方便定位问题,报错能够详细一点。

3.希望 run _ calibration 和 model _ deploy 工具可以充分利用多核 CPU 的优势,在使用上述工具时某些阶段 CPU 利用率很高,某些阶段只有一个核心在用,猜测这部分是 Python 代码受到了 GIL 限制,可以尝试Pybind11改进一下。

4.希望编译后的模型可以把 fusion 和 pass 再反向生成一个 tpuop 的 onnx ,用于可视化模型结构。

5.希望 CPU 模拟 TPU 推理时也可以充分利用多核,大尺寸图像推理耗时太严重了,几个小时起步。

6.希望测试 bmodel 得到的 profile 文件可以通过网页或者其他形式可视化出结果,目前分析只能一行行的看。

7.希望未来复赛能像初赛一样可以自定义很多 trick ,复赛太单调了,并且用处也不太大。

你可能感兴趣的:(计算机视觉,深度学习,竞赛,Unet,TPU-MLIR)