Hand modeling and simulation using stabilized magnetic resonance imaging

Hand modeling and simulation using stabilized magnetic resonance imaging
2019 Siggraph

http://barbic.usc.edu/hand-mri/

作者：

• BOHAN WANG, University of Southern California, USA
• GEORGE MATCUK, University of Southern California, USA
• JERNEJ BARBIČ, University of Southern California, USA

主要内容及贡献：

1. 采集了2个人，每个人12个pose的MRI和surface scan数据
2. 提出了分割MRI数据中的手的骨骼的新的方法，以及不同pose骨骼间的registration
3. 提出了一种新的FEM仿真算法，模拟手上soft tissue

---

重点关注下第二点，MRI的分割

MRI手骨骼分割

现有的商业/开源软件

• ITK-SNAP
• Amira
• 3d slicer

试了，都不好用。方法大同小异，都是人工交互加一些graph cut / region grow类型的算法

现有的研究工作

• 现有的MRI分割工作基本针对全身的骨骼，没有做手的
• 现有方法在Hip分割上有比较好的结果，但是不适用于手（因为手骨头又小又多）
• Learning方法不够成熟，尤其应用到手上，目前没有GT标注的数据库

---

• 最常见的方法是人工交互加传统CV算法（thresholding / filtering / water shedding..)
• 我们只找到一篇专门分割手骨骼的文章，是一个Master Thesis
  • 文章里就一个例子
  • 我们实现了他的算法，参数太多，不好调
  • 人工控制困难，效果不好

(b)是作者的，(c)是那个唯一的现有算法

MRI骨骼分割的难点

• Inhomogeneous bone tissue intensity: cortical bone (i.e, outer bone layer) is darker than cancellous bone (inner layer) -> 骨头density不同，MRI图像中明暗不同。外侧（cortical）比内侧（cancellous）更dense，颜色更深。
• Unclear and fuzzy bone boundaries in articulation areas -> 关节处边缘不够清晰
  
  外侧（cortical）比内侧（cancellous）更dense

作者的方法

Our method has only one parameter, and users are able to incrementally improve the result by delineating additional bone voxels which the segmentation classified incorrectly.
一个骨头5-10分钟，一个pose3小时

对于Neutral pose

1. 每张图片中单独分割单个骨骼 （交互）
2. 对于边缘处（cortical），取最接近的连通区域
3. Dilation / Erosion
4. Solve 3D 分割 （Laplacian-based method）
5. Merge 所有骨骼
6. Isosurface meshing

对于其他pose

7. 只分割出cancellous bone，用neutural pose生成的bone mesh做rigid ICP拟合过去

拟合其他pose