AR学习笔记（四）：相关文献查阅

找一找文献借鉴一下人家取牙齿的2d-3d配准特征点的方法，做一个记录，国内关于数字微笑设计（DSD）的文章并不多，所以大部分是英文文献，下载并阅读了原文的打了*号

---

导览

主要从两个方向来找资料，一是查找IvoSmile App公司相关的材料，二是查找数字微笑设计（DSD）的相关文献或视频

文献摘要

1. *Dynamic documentation of the smile and the 2D/3D digital smile design 2017（微笑的动态文档与二维/三维数字微笑设计过程）：
   Comparison of Two Innovative Strategies Using Augmented Reality for Communication in Aesthetic Dentistry: A Pilot Study的引用
   首先讲拍摄患者视频时的光照、距离等的要求，拍摄四个角度的视频进行分析，然后分八步创建面部的微笑引导框架，最后给出设计结论

2. *State of the Art on Monocular 3D Face Reconstruction, Tracking, and Applications 2018（单目三维人脸重建、跟踪和应用的研究现状）：
   Comparison of Two Innovative Strategies Using Augmented Reality for Communication in Aesthetic Dentistry: A Pilot Study的引用
   整篇论文介绍了人脸三维重建研究和应用现状，包括眼睛、头发、嘴唇、牙齿等等，着重看一下9.2节对口腔内牙齿的捕捉

3. *Model-Based Teeth Reconstruction 2016（基于模型的牙齿重建）
   Comparison of Two Innovative Strategies Using Augmented Reality for Communication in Aesthetic Dentistry: A Pilot Study的引用
   本文提出了一种非侵入性重建整个人特有的牙齿排的方法，方法的基础是一个新的先验的从高质量的牙齿扫描得到的参数化牙齿排。一种新的基于模型的重建方法将牙齿与照片相匹配，使可见的牙齿被准确地匹配，咬合的牙齿被合理地合成，无缝地集成到整个人脸的摄影测量多相机重建设置中，也可以是正常的未校准的照片甚至手机拍摄的短视频拍摄高质量的牙齿建模。
   使用增强边缘学习BEL（Boosted Edge Learning）提取牙齿边缘，效果很好

4. *Digital Smile Design A Tool for Treatment Planning and Communication in Esthetic Dentistry 2012（数字微笑设计:牙科美容治疗计划和沟通的工具）
   笼统介绍了一下DSD这一种工具，其方式、用途等，主要看一下DSD的工作流，还是需要手动处理牙齿图像，然后设计蜡模

5. *2D and 3D patient’s representation of simulated restorative esthetic outcomes using different computer-aided design software programs 2021（三维和三维患者使用不同的计算机辅助设计软件程序模拟修复性美学结果）
   介绍了一系列的2D和3D的CAD软件进行牙齿的美学修复效果

6. *Augmented Reality in Esthetic Dentistry: a Case Report 2021（美容牙科中的增强现实：一个案例报告）
   介绍了一个牙齿修复的案例，对于AR或者牙齿检测的介绍很少

相关性较低的文献

1. *Virtual smile design tip: From 2D to 3D design with free software 2018（虚拟微笑设计提示：从2D到3D软件设计）
   通过keynote/power point等免费软件实现JPEG到STL文件，借鉴意义不大

2. *Augmented reality (AR) and virtual reality (VR) applied in dentistry 2018（应用于牙科的增强现实(AR)和虚拟现实(VR)技术）
   Comparison of Two Innovative Strategies Using Augmented Reality for Communication in Aesthetic Dentistry: A Pilot Study的引用

3. *Recent development of Augmented Reality in Surgery A Review 2017（外科增强现实的最新发展综述）
   Comparison of Two Innovative Strategies Using Augmented Reality for Communication in Aesthetic Dentistry: A Pilot Study的引用

4. *An Augmented Reality Based Teeth Shade Matching System 2011（一种基于增强现实的牙齿阴影匹配系统）

5. *Augmented reality as a new perspective in Dentistry: development of a complementary tool 2016（增强现实作为牙科的一个新视角：一个互补工具的开发）

Ivosmile App(Kapanu)

官方网站：Kapanu 是世界上第一家也是迄今为止唯一一家提供实时牙科增强现实可视化的公司

Ivosmile是IOS平台的一款AR换牙应用，发布于2018年11月，其设计公司Kapanu AG成立于2015年，在2017年的IDS上展示了世界上第一个实时牙科增强现实应用程序

这里有一些油管关于ivosmile的视频，基本类似广告，介绍了一下App使用方法：

1. Ivosmile Tutorial - Ivoclar Vivadent 2019.10.17

2. IDS 2019 | IvoSmile 2019.3.16
   IvoSmile在2019年的IDS上的演示

3. Kapanu | Augmented Reality for the Future of Dentistry 2017.3.6
   IvoSmile设计公司制作的演示视频，在其官网上也有

技术page：实时图像处理（使用深度学习技术进行全自动处理）、逼真渲染、用简单的笔触编辑形状、3D 牙科模型、CAD链接、牙科未来的增强现实

下图是部分技术主页的介绍

研究出版物：

1. Latest developments in augmented reality technology and their integration into the digital workflow
   摘要：将增强现实技术与CAD/CAM技术结合，介绍一位患者进行美容修复的案例，使用增强现实 (AR) 的新数字技术可以在开始治疗之前立即进行诊断并呈现可能的结果，具体是使用特殊软件创建了一个虚拟 AR 模型，以获得计划修复的预览并实时修改它（原文需要订购）
2. The use of ‘extended reality’ (augmented reality) in esthetic treatment planning
   原文在International Journal of Computerized Dentistry, No. 2 (24.06.2020), pages 149-160，但给出的链接并没有该日期的刊物，暂时没找到
3. Dynamische Echtzeitvisualisierung in der Diagnostik mittels Augmented Reality
   暂时没找到
4. *Comparison of Two Innovative Strategies Using Augmented Reality for Communication in Aesthetic Dentistry: A Pilot Study
   摘要：介绍了两种创新的增强现实交流软件测试用户体验，一种是使用一组图片，描述为基于图片的自动化策略（automatized picture-based strategy (APBS)），另一种是使用触控板的前相机系统，称为增强镜像策略（enhanced mirror strategy(EMS)），简单来说前一种是用一系列图片进行AR投影，后一种是类似直播的实时AR投影，之后就是对两种策略的用户体验评估，没什么帮助，只能从图片介绍看一下软件算法流程

5. *Coherent rendering of virtual smile previews with fast neural style transfer
   摘要：一致性渲染的虚拟微笑预览与快速的神经风格转移。由于AR投影使用的牙齿模型是理想的，没有考虑相机缺陷、图像噪声等，限制了AR换牙应用的真实性，这篇文章应用了艺术风格转移的方法，提出和比较各种卷积神经网络结构，评估生成图像的质量，核心思想是将原始未改变的图像的风格应用到渲染的虚拟内容图像上，使两者无缝地融合在一起。这是在完成3D牙模在视频上的投影后，进一步优化显示效果的文章，所以没有太大帮助，论文中的部分输出结果如下

6. Mobile Augmented Reality for Dentistry: Virtual Try-On in Live 3D (Demo)
   这是在European Conference on Computer Vision (ECCV 2016)上发布的一个demo，找不到更多的信息
7. Augmented Reality in Esthetic Dentistry: a Case Report
   这个链接目标与第一篇一致，不知道是bug还是就是同一篇文章

公司人员： Marcel Lancelle、Nicolas Degen、Alex Mourtziapis、Angel Junquera 等，还有在查文献的时候出现比较多的名字：Romane Touati、Valentin Vasiliu、G´abor S¨or¨os 等

使用步骤：拍摄一组多角度的照片序列，选择期望的牙模进行投影，手动进行牙模投影的调整，进入直播模式

文献

*Dynamic documentation of the smile and the 2D/3D digital smile design

首先讲拍摄患者视频时的光照、距离等的要求，拍摄四个角度的视频进行分析，然后分八步创建面部的微笑引导框架，最后给出设计结论，创建面部微笑引导框架的步骤如下：

1. The digital facebow 数字面弓，人脸中线和牙齿中线可能存在偏移，需要选择一个合适的位置进行微笑设计
2. Smile Curve 微笑曲线，取决于面部和嘴唇的动态分析
3. Interdental Width Proportion 牙间宽度比例，建议使用美学牙科比例RED
4. Central Incisor Width/Length Proportion 中间切牙（门牙）的宽度和长度比例
5. Gingival Curve 牙龈曲线
6. Papillae Curve 乳头曲线
7. Vermilion Curve 朱红曲线？
8. Arch Curve 拱形曲线

都是需要手动进行设计，借鉴意义不大

*State of the Art on Monocular 3D Face Reconstruction, Tracking, and Applications

整篇论文介绍了人脸三维重建研究和应用现状，包括眼睛、头发、嘴唇、牙齿等等，着重看一下9.2节对口腔内牙齿的捕捉

论文提到口腔内部由于严重的遮挡和复杂的材料特性，如牙齿表现出表面散射和高度光滑，很难从外部视觉数据中重建和跟踪，有人提出了一种可以从外部多视图图像中捕获高质量的牙齿几何形状的方法，使用由牙齿扫描建立的牙齿结构的统计先验（文献An anatomically-constrained local deformation model for monocular face capture 2016），下面是结果

*Model-Based Teeth Reconstruction

本文先介绍了一下视频中的脸部识别和牙齿重建的研究现状，然后是先验牙齿模型的建模，定义了一个牙齿的参数模型，并训练一个模型的先验，给定来自真实受试者的三维数据，然后是描述基于图像的拟合方法来重建牙齿，包括自动提取牙齿边界，从边界估计牙齿模型参数，精细的模型外变形以重建精确的牙齿形状，最后从图像中恢复牙齿颜色纹理，并选择结合三维牙龈进行可视化

在提取牙齿边缘的方法上，本文采用了增强边缘学习（Boosted Edge Learning），这是一种用于边缘和目标边界检测的通用监督学习算法，它基于小图像块上的大量通用快速特征将图像像素分类为边界，包括梯度、滤波响应直方图和不同尺度上的Haar wavelets，在一组手工标记的输入图像上训练三个独立的探测器，每个图像对应一个特定的牙齿边界。下面是手动标注图以及BEL的输出结果

论文后面还增加了一个额外的滤波步骤来减少噪声和锐化边缘，涉及到的数学公式比较复杂

*Digital Smile Design A Tool for Treatment Planning and Communication in Esthetic Dentistry

DSD的工作流（部分）：
1.找十字线：必须将两条线放在窗口的中心，形成一个十字
2.数字面弓：将整个微笑图像与水平参考线联系起来是微笑设计过程中最重要的一步，瞳孔间线应该是建立水平平面的第一个参考线，但它不应该是唯一的一个，在确定最佳的水平参考之前，必须分析脸部以实现和谐，在确定水平参考线后，根据面部特征如鳃、鼻子和下巴勾画出面部中线轮廓
3.微笑分析：在嘴上拖动水平线，可以对面部线条与微笑的关系进行初步评估，将线条和面部照片分组将允许临床医生放大图像，而不丢失线条和照片之间的参考资料，中线和咬合平面的位移和倾斜可以很容易地检测到

这篇文章主要还是手动来提取牙齿的特征信息的，所以后面的步骤没有什么借鉴意义。
有效的信息：需要先根据人脸图像确定出水平参考线和中线，这样可以确定出牙齿的中线（应该在两颗门牙中间），从而解决2D牙齿图像对应牙模上哪颗牙齿的问题

*2D and 3D patient’s representation of simulated restorative esthetic outcomes using different computer-aided design software programs

介绍了一系列的2D和3D的CAD软件进行牙齿的美学修复效果，主要有以下这些软件

视频资料

基本都是从油管上找到的与AR牙齿或者DSD相关的视频，简单记录

1. Mock-up Part 2 - Digital Wax-up using 3Shape Dental System
   用3Shape进行DSD设计，也是如下图手动取点进行3D牙模的投影，特征点取在了牙齿的底部以及牙齿和牙龈交界的地方
   

2. Janus Health AR
   一个类似IvoSmile的App，也能实现牙齿实时的AR投影，但是官网域名已经没有了

3. Spark AR Mouth Patch - Dracula Teeth Example | eye color block (EN Captions)
   Spark AR实现牙齿AR效果的教程，类似搭积木来完成
   

4. White teeth + LUT + Skin Smoothing Instagram Filter in Spark AR
   也是Spark AR，是Facebook开发的一款AR制作软件