医学影像视频分析 (MICCAI 2019)

视频分割任务

1. 《Incorporating Temporal Prior from Motion Flow for Instrument Segmentation in Minimally Invasive Surgery Video》

任务：Instrument Segmentation
数据集：the public 2017 MICCAI EndoVis Robotic Instrument Segmentation Challenge dataset
方法：通过结合上一帧的分割结果和当前运动方向(通过光流法获得)，推断出当前帧的分割的mask, 称为temporal prior, 本质上就是一个attention map, 加在原本encoder-decoder结构中用于指导当前帧的预测。
总结：通过光流法捕获运行信息，建立起了帧与帧之间的时序联系。而不再将每一帧看成一个独立个体。

视频分类任务

1.《Using 3D Convolutional Neural Networks to Learn Spatiotemporal Features for Automatic Surgical Gesture Recognition in Video》

任务：Surgical Gesture Recognition
数据集：the publicly available JIGSAWS dataset（其中的 robot-assisted suturing task)
方法：通过3D卷积捕获输入的多帧图像的时序特征，完成手术姿势识别。

2.《Hard Frame Detection and Online Mapping for Surgical Phase Recognition》

任务：== Surgical Phase Recognition==
数据集：the M2CAI16 Workflow Challenge dataset and the Cholec80 dataset
方法：
step1: 通过交叉验证的数据清洗方式筛选出困难帧(错分的帧)。
step2: 将困难帧看成一个新类别，加入到原有的手术阶段类别中，训练分类器Separator, 即可同时完成简单帧的手术阶段识别和困难帧的筛选任务。
step3: 对筛选出的困难帧，通过OHFM(Online Hard Frame Mapper)机制完成最终手术阶段识别。