KM3D/RTM3D代码复现

论文：https://arxiv.org/pdf/2001.03343.pdf
官方代码：https://github.com/Banconxuan/RTM3D

一.前期环境安装
1.环境配置
参考readme/INSTALL.MD
官方给出的：ubuntu16.04+python3.6+pytorch1.0.0
我配置的环境：（Xavier设备下）ubuntu18.04+python3.6+pytorch1.7+torchvision0.8.0+cuda10.2
（注：官方使用虚拟环境搭建，但由于种种踩坑没有采用该方法；版本号根据自己的设备来，当pytorch>=1.8时，最新的ninja1.10.2.3不兼容，不推荐；当pytorch=1.6时，tensor和int之间的除法不能直接用"/"，用torch.true_divide()代替，对应的torchvision版本为0.7；当pytorch=1.5时会出现核心段错误，不推荐。综上，还是按照我的版本来，这都是我踩过的坑啊）
版本下载：https://download.csdn.net/download/unbekannten/85840784
采用离线下载

 pip3 install torch-1.7.0-cp36-cp36m-linux_aarch64.whl 

解压vision-0.8.0.zip，并进入该文件夹下

sudo python3 setup.py install

安装完成后，检验是否成功，是否可用

2.安装依赖包
参考readme/INSTALL.md

pip3 install -r requirements.txt

3.编译DCNv2
（注：源代码由于版本太旧和torch版本不兼容等种种原因，会报错误，若上述环境与我相同，可直接用下述方法）
原来的DCNv2不适用，需重新下载并将文件夹下的内容进行替换，适用DCNv2下载地址：https://download.csdn.net/download/unbekannten/85840849
将/DCNv2/DCN中的dcn_v2.py拷贝到/DCNv2下

cd $KM3D_ROOT/src/lib/models/networks/DCNv2
sudo python3 setup.py build develop

其成功执行生成如下相应文件夹

终端成功显示效果如下

4.编译iou3d
进入src\lib\utils\iou3d\src，编辑iou3d.cpp
在所有#include<>后面添加3行代码即可：

#ifndef AT_CHECK
#define AT_CHECK TORCH_CHECK 
#endif

其整体如下

 cd $KM3D_ROOT/src/lib/utiles/iou3d
sudo python3 setup.py install

终端成功显示效果如下

二.测试
参考readme/DEMO.md
下载预训练模型ResNet-18train.pth
(https://pan.baidu.com/s/1zt-O6UzcBVGF-6vg5LzGpA) 提取码：60ks)
并将其放在./demo_kitti_format/exp/KM3D/
终端运行

python3 ./src/demo.py --vis --demo ./demo_kitti_format/data/kitti/image --calib_dir ./demo_kitti_format/data/kitti/calib/ --load_model ./demo_kitti_format/exp/KM3D/ResNet-18train.pth --gpus 0 --arch res_18

效果图如下

结果文件保存在./exp/results/data/下

注：可能会报错

/src/lib/utils/ddd_utils.py中的draw_bos_3d()函数中cv2.line()函数的参数修改成int()类型即可，即

def draw_box_3d(image, corners, c=(0, 0, 255)):
  face_idx = [[0,1,5,4],
              [1,2,6, 5],
              [2,3,7,6],
              [3,0,4,7]]
  for ind_f in range(3, -1, -1):
    f = face_idx[ind_f]
    for j in range(4):
      cv2.line(image, (int(corners[f[j], 0]), int(corners[f[j], 1])),
               (int(corners[f[(j+1)%4], 0]), int(corners[f[(j+1)%4], 1])), c, 2, lineType=cv2.LINE_AA)
    if ind_f == 0:
      cv2.line(image, (int(corners[f[0], 0]), int(corners[f[0], 1])),
               (int(corners[f[2], 0]), int(corners[f[2], 1])), c, 1, lineType=cv2.LINE_AA)
      cv2.line(image, (int(corners[f[1], 0]), int(corners[f[1], 1])),
               (int(corners[f[3], 0]), int(corners[f[3], 1])), c, 1, lineType=cv2.LINE_AA)
  return image