Sketch-Based Skeleton-Driven 2D Animation and Motion Capture 翻译

本文发表于2011年。

Abstract

我们提出了一种新颖的基于草图的2D动画技术，该技术允许用户有效地产生2D角色动画。它由两部分组成：基于草图的骨架驱动2D动画制作和2D运动捕捉。用户输入角色的一个图像，并为每个后续帧绘制骨架。系统使角色变形并自动创建动画。为了执行2D形状变形，引入了变长针模型，将变形分为两个阶段：骨骼驱动变形和关节区域的非线性变形。它保留了局部几何特征和全局区域。与现有方法相比，它降低了计算复杂度并产生了合理的结果。由于我们的技术是骨骼驱动的，因此可以通过跟踪关节位置来捕获角色的运动并将其重新定位到新角色。这有利于重用现有运动图像中包含的运动特征，从而使艺术家和新手都可以轻松地生成卡通。
关键字：草图，骨架，卡通，2D形状变形，运动捕捉。

1、Introduction

基于草图的动画由于其直观性和作为角色建模和动画的有用工具的重要性，已在计算机图形学领域越来越受欢迎。已经发表了许多论文[1,2,3]，并且已经将几种技术开发到商业软件中，例如[4]。借助基于草图的技术，动画师可以将其2D图纸直接转换为3D模型。建模人员/动画师不必一步一步地处理细节，而是可以在早期阶段可视化和评估快速原型化的模型，可以使用其他3D工具对其进行进一步完善以满足实际需求。但是，与3D动画的进步相比，2D动画并未从这些优点中受益。大多数专业的卡通工作室仍然手动制作大量动画（关键帧和中间帧）[5]，这是一个费力且耗时的过程。关键帧和中间帧的生成是2D动画制作中最重要且最费力的两个步骤。为了最好地利用动画师的时间，关键帧是由熟练的关键帧制定者绘制的，而中间帧则是由经验不足和熟练的人（称为中间帧）绘制的。虽然有些软件工具，例如Animo，Toon Boom [6]有助于生成中间帧，与人类中间帧创建的帧相比，它们通常缺乏“个性”。动画制作人员必须对介于两者之间的软件进行调整，以使动画具有“个性”。实际上，许多中间值仍然是手动创建的。

 

受骨骼驱动的3D动画技术和2D变形的最新进展（例如[7]，在本文中，我们提出了一种新技术，旨在在不牺牲质量的前提下提高2D动画制作的自动化程度。我们的方法包括两个部分，第1部分：2D动画序列生成和第2部分：运动捕获和重新定位。第1部分可以独立用于创建动画序列。如果将其与第2部分结合使用，则可以轻松地重用现有动画序列的“动作”并将其应用于其他角色。我们技术的主要应用是2D动画制作。但它也适用于交互式图形系统，在该图形系统中，用户可以通过移动其骨骼直接使2D形状变形。由于使用起来非常简单，因此，我们希望这种方法不仅对专业的卡通制作公司感兴趣，而且对于创建2D动态图形的新手也很重要。

与第1部分相关的最重要的问题是切实有效地处理字符的复杂形状变形。对于给定方向上的角色（例如，侧视图，前视图或后视图），我们首先通过分析边界曲线的几何形状来生成其骨架。类似于3D角色，骨骼充当驱动结构并控制角色的变形。为了使角色变形，我们引入了所谓的变长针模型，并提出了一种称为骨架驱动+非线性最小二乘法优化的算法。这个想法是将2D形状变形分为两个部分。第一个是骨骼驱动的变形，它完全由角色骨骼的相应部分控制；另一个是非线性最小二乘优化，用于计算与骨骼关节相关的关节区域的变形。我们的观察表明，在动画过程中，最复杂的变形发生在角色的关节区域周围。为了提高计算效率，将骨骼驱动的变形简单地视为线性变换。非线性最小二乘法优化仅解决了关节区域的变形。为了确保逼真的变形，在动画过程中将最大化诸如边界特征和局部保留的属性。变长针模型也很容易实现全局保护的特性。因此，一旦给出了第一帧，动画师就可以通过为每个后续关键帧绘制骨骼来轻松创建动画序列。系统将自动生成变形的角色形状，从而节省了动画制作者绘制整个帧的时间。

 

尽管存在大量的视频，卡通和传统的2D运动图像，但是由于2D动画的特殊特征和原理，很少有有效的方法来利用这些丰富的资源[8,9]。第2部分的主要目标是弥补这一明显的差距。由于我们的卡通制作技术是基于骨骼的，因此我们自然可以借鉴3D动画中的运动捕捉概念，以捕捉2D动画序列的“运动”。在3D动画中，动画期间3D角色的骨架长度通常是恒定的。然而，在2D情况下，以挤压和拉伸的形式改变特征长度是动画最有力和最富表现力的原理之一[8]。在本文中，我们将证明，通过我们的方法，我们可以使用2D骨架来表示这些重要且富有表现力的变换。

将捕捉到的动作重新定位到其他角色已经在3D动画中进行了广泛研究，例如[10]。我们提出一种通常用于计算机视觉的基于特征区域的跟踪方法，以提取视频或图像序列中2D对象的运动。我们将混合优化策略与模板匹配和卡尔曼预测相结合。一旦用户在第一个帧中找到了角色的所有关节区域，系统就会在随后的帧中自动跟踪关节的运动。然后将捕获的运动信息重新定位到新2D角色的预定义骨架，以生成变形（动画）。需要注意的是，跟踪在计算机视觉中已经得到了很好的研究，我们的目的不是开发新的跟踪方法。新颖的是使用这种技术来捕获2D运动，到目前为止，这仍然是一个尚未解决的问题。据我们所知，不存在有效的2D运动捕捉方法，该方法足以用于2D动画制作。本文有三个主要贡献：

1.我们提出了一种基于草图的骨架驱动2D动画技术，用于卡通人物。要生成新的关键帧，用户只需绘制骨架即可。
2.为了处理2D形状变形，我们开发了一个变长针模型，并介绍了骨架驱动+非线性最小二乘法优化算法。与其他方法相比，它更有效并且能够产生具有挤压和拉伸效果的合理变形。
3.我们引入了一种简单的基于骨骼的2D运动捕获方法，该方法可以通过跟踪关节的运动从卡通，视频和渲染的运动图像序列中提取运动。同时使用几何和视觉特征，可以防止运动图像中的自遮挡和特征消失。

本文的其余部分安排如下：在第2节中讨论了相关工作。在第3节中介绍了基于草图的骨骼驱动2D动画技术，在第4节中介绍了运动捕获方法。第5节给出了实验结果并与以前的方法进行了比较。局限性和未来可能的改进将在第6节中讨论。

2、Related Work

以前有关2D角色动画的大量工作[7,11,12,13]。 在这里，我们仅讨论最相关的发展，包括2D形状变形和运动捕捉。

2D形状变形：最新的2D变形技术是基于控制点的。尽管骨骼被结合到一些商业包装中，但目的主要是帮助角色造型，而不是使角色变形或动画化[6]。Igarashi等 [7]设计了一个“尽可能严格”的动画系统，该系统允许用户通过操纵一些控制点来变形2D角色的形状。
为了降低成本，作者提出了一种两步变形算法，将其简化为两个线性最小二乘最小化问题。由于它仅近似于原始问题，因此由于其线性特征可能会产生难以置信的结果。翁等[13]提出了一种基于非线性最小二乘优化的二维形状变形算法。作者使用非二次能量函数来表示该问题，从而获得了更合理的变形结果。但是，迭代解决方案的计算成本更高。 Schaefer等 [14]提出了一种基于线性最小二乘法的二维形状变形算法。它避免了输入图像的三角剖分，并且全局地执行平滑变形。他们还将这种基于点的变形方法扩展到了线段。但是，正如作者承认的那样，该方法使整个图像变形，而与对象的拓扑无关。这个弱点限制了它在2D角色动画中的使用。 Wang等 [15]提出了另一种基于刚性平方匹配思想的二维变形技术。他们使用统一的四边形网格作为控制网格，而不是使用三角形网格。由于所获得的变形非常刚性，因此不适用于软物体，并且无法保留全局区域。以上所有方法均采用全局优化。这种全局优化的一个缺点是，即使发生很小的姿态变化，所有三角形的形状也需要重新计算。这在计算上是昂贵的，并且在许多情况下不是必需的。在我们的实现中，我们将形状变形分为两个部分：骨架驱动变形和关节区域的非线性变形。前者可以看作是线性变换，而后者可以通过非线性最小二乘法优化来解决，但仅适用于局部区域。这种局部优化方案降低了计算成本，并且仍然可以实现合理的变形结果。

运动捕捉和重定目标：关于运动捕捉和重定目标的大多数研究都集中在3D动画上[10,16]。已经开发了许多有效的算法，并使许多应用受益，包括计算机游戏和电影特效。相反，对2D动画所做的工作很少。 Bregler等 [17]提出了一种使用仿射变换和键形插值相结合的方法来捕获和重新定位卡通人物非刚性形状变化的方法。它可以有效地表示定性特征（在这种情况下为运动）。但是很难精确。因此，尽管对于卡通重新定向很有用，但动画师要准确地控制运动和变形并不容易。相反，骨骼驱动的方法可以使动画师更好地控制动画期间的变形。 Hornung等[18]提出了一种使用3D运动捕捉数据对2D角色的照片进行动画处理的方法。给定角色的单个图像，他们将3D骨骼的运动重新定位到图像空间中角色的2D形状。为了产生逼真的运动，他们使用“尽可能严格的”变形[7]，并考虑了投影形状的变形。相比之下，我们的方法直接从现有图像序列中传输2D运动数据。我们不需要3D运动数据。同样，它也不需要用户手动指定角色的2D和3D姿势之间的对应关系。 Sykora等 [19]提出了一种图像配准方法，该方法将局部最优块匹配与可能的形状规整化相结合。它可用于运动捕捉2D对象。但是，限制是它无法处理咬合或较大的变形。

2D动画可视为一致的图像序列。 我们的方法受到几种基于视频的方法的影响[20,21,22]，该方法跟踪角色关节的运动。 但是，由于我们的系统需要处理具有不同形状和拓扑的各种字符，因此基于模型的跟踪方法无效。 我们选择更多常规特征：关节的纹理（颜色）和几何信息（位置，速度）以提取角色的运动。 与KLT跟踪器[20]相比，我们的算法不依赖于良好的特征选择，而是直接跟踪每帧感兴趣的特征区域（关节）。

3 、Sketch-Based Skeleton-Driven 2D Animation

我们的技术包括五个步骤。 我们使用一种流行的卡通人物mm（图1a）来说明该技术。

                 图1.变形前的初始预处理。

               （a）原始模板模型；（b）轮廓检测和离散采样；

               （c）三角形网格和曲线骨架；（d）骨骼和分解；（e）变长针模型。

3.1 Silhouette Detection and Triangulation

用户首先导入一个2D角色作为原始模板模型，该字符可以用BMP / JPEG图像或矢量图形表示。 要求对象的边界应由封闭的多边形表示。 对于BMP / JPEG图像，我们目前手动删除背景。 用marching squares算法[23]检测其轮廓，形成一个封闭的多边形。 分布离散点可以对多边形进行三角剖分。 存在许多三角剖分算法。 在这里，我们采用约束Delaunay三角剖分算法。 用户可以根据需要调整采样密度，以形成较稀疏或较密的网格。 为了确保正确地对角色形状进行三角剖分，我们需要扩展模板模型或预先解决肢体遮挡的问题。 这可以通过image completion来完成[24]。

3.2 Skeletonization and Decomposition

构造骨架的过程称为骨架化。系统首先使用2D thinning算法生成角色的曲线骨架[25]。要生成动画骨架，用户可以将关节定位在曲线骨架或网格顶点上。示例角色的曲线骨架如图3c所示。曲线骨架分支的某些端点（图3c中的红色点）可以直接用作骨骼关节。骨架化之后，系统会将每个顶点附加到其最近的骨架段。这称为分解，将顶点分为不同的区域。这里我们使用[26]中描述的区域增长算法。示例卡通人物的分解结果如图3d所示。在此图中，有16个骨架段，这些骨架段已进行了颜色编码以表示关联的顶点区域。基于所有顶点的分类，我们现在将三角形分为两种类型，内部三角形和联合三角形。如果三角形的三个顶点具有相同的颜色，即它们都与一个骨架段相关联，则该三角形是一个内部三角形，否则该三角形是一个联合三角形。两种类型的三角形都如图1所示。我们还将顶点分为三类，即轮廓顶点，内部顶点和关节顶点，如图2所示。轮廓顶点形成对象的轮廓。除轮廓顶点外，如果顶点的所有相邻三角形均为内部三角形，则此顶点为内部顶点；否则，该顶点为内部顶点。否则，它是一个联合顶点。

                                                              图2.我们定义不同类型的顶点和三角形的图示

3.3 Shape Deformation

形状变形对于动画质量至关重要，并且是我们技术的重要步骤。 我们算法设计的主要目标是最大程度地减少边界变化，内部形状失真和计算开销。 我们将二维角色变形分为两个阶段：每个顶点区域的骨骼驱动变形（阶段1）和关节区域的非线性变形（阶段2）。 对于阶段1，由于计算涉及简单的转换，因此仅会产生少量开销。 阶段2将不合理的变形降至最低。 尽管计算更为复杂，但仅涉及一小部分顶点。

3.3.1 Variable-Length Needle Model

我们的可变长度针头模型使用可变长度的针头集合来表示可变形对象的几何形状。 每个针都将一个顶点链接到其附加的骨架段。 每个针都起源于骨骼，并以固定角度向外延伸。 顶点在针的终点。 针的长度是顶点与相应骨架段之间的欧几里得距离。 图1e说明了变长针模型。

3.3.2 Stage One: Skeleton Driven Deformation

在骨骼驱动的变形中，所有顶点的几何形状仅由相应骨骼段的位置确定。由于这些点靠近骨骼段，因此在动画过程中将针视为经受骨骼段的仿射变换是合理的。旋转和缩放是此处的合法转换。在变换过程中，相对于骨骼段的针的长度和方向保持不变，从而可以快速计算出网格顶点的新坐标。卡通人物经常表现出明显的挤压变形。使用我们的针模型的优势在于，可以通过确保针长度的变化与链接的骨骼段长度的变化成反比，来保持边界包围的区域。因为针头覆盖了角色的表面，所以这种简单的方法有效地保留了角色的整个区域并表现出压扁和拉伸效果。图3展示了全球区域保护的效果。一个骨骼段用于使瓶子变形。

                                   图3.保留（中间）和不保留（右侧）全局区域的变形。 原始对象和变长针头模型显示在左侧。

图4示出了卡通人物的变形过程。 如图4c，d所示，变形是现实的。 但是，某些关节区域的纹理和轮廓曲线不够平滑，某些关节三角形甚至重叠。 这表明，为了最大程度地减小形状变形，我们需要集中精力于关节区域，并确保变形符合原始模型。 这构成了第二阶段的主要部分。

3.3.3 Stage Two: Nonlinear Deformation in Joint Areas

我们采用两个几何实体作为约束来防止形状变形：旋转和尺度不变（RSI）拉普拉斯坐标[27]和三角形网格的边长。 前者保留轮廓曲线的局部形状特征，而后者保留局部轮廓。 假设（V，E）是角色的网格模型的2D图形，其中V和E分别是顶点和边的集合。 V可以分为三个子集：

a. RSI Laplacian coordinates

由于普通拉普拉斯坐标不考虑曲线的旋转和缩放，因此在此我们使用旋转和缩放不变（RSI）拉普拉斯坐标[27]来处理轮廓的变形。 鉴于我们主要对出现可见失真的关节区域感兴趣，因此我们只需要约束关节区域中的轮廓顶点（用sV表示）。 为了保留轮廓曲线的局部特征，我们需要最小化以下目标函数：

b. Edge lengths

我们使用以下能量函数对关节三角形的边长偏差进行惩罚：

                 图4.变形过程

               （a）草绘的骨架，（b）显示为可变长度针模型的变形字符。 蓝线代表变形前原始模板模型的骨架

               （c）第一阶段变形后的网格和骨架，（d）第一阶段变形后的特征，（e）第二阶段变形后的特征。

这是一个非线性函数，为了有效地解决优化问题，我们采用了迭代高斯-牛顿法。 结果显示在图4e中，其中与阶段1的结果相比，对象内部的轮廓和纹理均平滑地变形。 对于此特定示例，计算收敛了36次迭代。 迭代次数随许多因素而变化，包括模型的形状，顶点数和变形的大小。 在我们的实验中，所有示例的平均迭代次数为35。

3.4 Depth Adjustment and Fine Tuning

碰撞检测是卡通人物变形的实际问题。当角色的不同部分重叠时，如果未正确分配深度，则重叠部分可能会相互渗透。而且，为顶点[7]分配静态深度值并非在所有可能的情况下都有效。在我们的系统中，我们允许通过交互进行动态深度调整。生成新的变形模型后，我们监视网格的自相交，并为重叠部分设置适当的深度顺序。当用户单击重叠部分中的任何顶点时，此分解区域中的所有顶点将具有与所单击的顶点相同的深度值。图5a给出了深度调节的例子。我们的系统还允许用户以两种方式微调模型的局部几何细节：草图曲线和点拖动。草图曲线用于微调对象的轮廓。与最近邻法相似，我们沿对象轮廓搜索轮廓线段的起点和终点（从起点和终点到草图曲线的最短欧式距离）。对于变长针模型的轮廓线段上的每个顶点，我们固定针和骨架线段之间的角度，并更改针的长度，以将其端点移动到草图曲线上的新位置。在图5b中给出了一个示例，其中右臂的轮廓通过草图曲线进行了更改。点拖动更简单。用户拾取并拖动任何顶点以重塑角色。在骨骼驱动的变形完成后，编辑或生成详细的形状更改（例如面部表情）可能非常有用。图5c示出了两个例子。左一个改变面部表情，右一个改变刺猬头发。

                 图5.深度调整和微调局部几何细节。

               （a）深度调整前后的变形结果；（b）草图曲线的微调；（c）通过点拖动变形。

3.5 In-Betweening

通过对上述两个阶段产生的变形进行插值来生成中间框架，这两个阶段是骨骼驱动变形（阶段1）和关节区域中的非线性变形（阶段2）。 可以使用许多插值技术。 在本节中，我们说明如何在给定两个关键帧的情况下生成中间值。

4 Motion Capture and Retargeting

基于以上提出的方法，我们还开发了一种有效的算法来捕获2D角色的运动。基本思想是使用完善的计算机视觉技术来跟踪关节。一旦从运动图像序列中识别出第一帧，就以与前面所述相同的方式自动提取曲线骨架。动画师基于此曲线骨架在图像上标记关节。要从后续帧/图像中捕获运动，关键步骤是跟踪关节的位置。由于我们关注的是2D图像/帧，因此可以合理地假设任意两个相邻帧之间的关节纹理不变。因此，我们的设计是使用纹理作为视觉提示来跟踪关节位置。它捕获原始角色的运动，然后将其重新定位到目标角色。为了确保其正常工作，图像序列和目标字符应满足以下前提条件：
1.图像序列是一致的，即两个相邻帧之间的变化相对较小。
2.目标角色与第一帧中的原始角色具有相同的拓扑结构和相似的姿势。
3.第一帧中原始角色的姿势被粗略扩展。没有所有关节的闭塞。需要指出的是，我们的运动捕捉方法不仅限于卡通序列。它可以捕获卡通序列，视频和渲染的3D动画图像序列（图12）。

4.1 Tracking

对于给定的图像序列或视频作为输入，系统首先为每一帧减去背景[28]。然后，用户使用自动生成的曲线骨架作为参考，通过在原始角色上标记小矩形以指示关节位置来定位所有关节。图6a示出了要跟踪的原始角色。红色矩形代表所定位的关节区域。在这些框架中跟踪并连接所有关节位置会导致在后续框架中生成骨骼。为了将捕获的动作映射到目标角色（图6b），我们要求目标角色具有与原始角色相似的拓扑结构和姿势。仅使用颜色信息就可以相对轻松地跟踪静态对象的运动图像。但这对于articulated角色来说是不够的。这是因为角色的某些部分可能会不时重叠，从而导致颜色信息消失。为了解决这个问题，除了讨论的颜色特征外，我们还使用了几何特征。几何特征允许通过估计关节的速度在下一帧中预测关节的位置。

               图6.运动捕捉的初始设置。 （a）第一帧中的原始角色和所定位的关节；（b）目标角色及其分解结果。

卡尔曼滤波器被广泛用作计算机视觉的跟踪对象。 由于相邻帧之间的间隔在我们的工作中很小，因此我们将其视为一个时间间隔内的均匀加速运动，并使用以下预测模型来计算关节区域的中心（，）

图7a示出了图6a中的角色的联合跟踪结果。 我们在一个18帧图像序列中选择四个跟踪的帧。 从第6、12、18帧可以看出，使用我们的位置预测算法可以有效解决自闭塞问题。 这种跟踪方法并非没有限制。 由于逐帧跟踪天生就容易发生错误累积，因此精度仅限于少数帧（在我们的实验中约为30个）。 解决此问题的一种有效方法是将大图像序列划分为由较少帧组成的多个片段，并校正每个片段中第一帧的跟踪误差。 我们的系统允许用户在必要时在任何帧上交互式调整跟踪结果。

                           图7.跟踪和重新定位。 （a）联合追踪原始角色，（b）变形的目标角色。

4.2 Retargeting

为了将捕获的动作重新定位到新角色，我们首先生成了一个如前所述的骨架。 关于3D动画的现有工作很多，例如[10]，可直接用于我们的案例。 但是，在本文中，我们仅实现了一种简单的方法来演示重新定位过程。 对于移动的2D角色，骨骼可以同时具有线性（长度）和角度（方向）位移，即骨骼段可以拉伸/挤压和旋转。 我们简单的运动重定目标的基本思想是映射所捕获的骨骼段的长度和方向角的增量，可以通过以下方式计算：

图7b示出了针对图6b中的目标角色的重新目标结果。

5 、Experiments and Evaluation

我们设计了两个实验来比较研究变形算法的计算复杂度和视觉性能。 首先是使用我们的算法将2D花模型变形为与[13]中相似的四个姿势。 结果如图8所示。我们在具有1GB内存的3.2GHz Pentium 4工作站上测试了我们的算法。 表1给出了比较结果。 由于我们的变形算法无法对所有三角形执行非线性形状变形，因此大约需要四分之一的时间。 在执行更大，更复杂的动画时，这一点尤其重要。

                                                      图8.通过我们的算法和[13]变形的花朵模型。

                                                    （a）变形结果为[13]，（b）我们算法的变形结果（从左到右，原始模板，分解结果和变形的数字）。

第二个实验是使[7]和[15]中都出现的弹性物体变形。 我们的算法中使用了两个骨骼段。 图9给出了结果。 由于我们的方法保留了全局区域，与[7]和[15]中的结果相比，它可以在变形过程中自然地表达该弹性物体的挤压和拉伸效果。

                                          图9.将我们的算法与[7]和[15]中的方法进行比较。

                                        （a）具有骨架的原始对象和分解结果，（b）我们算法的变形结果

                                        （c）[7]中的变形结果，（d）[15]中的变形结果。

我们还邀请了三位动画师通过两组实验来测试我们的技术。 第一个用于评估动画制作的视觉质量和性能。 原始字符是从Internet获得的。 图10和视频给出了结果。 第二组是测试我们的运动捕捉和重新定位方法。 有两个实验。 第一个（图11）是跟踪一个跳跃的卡通人的关节，并将动作重新定位到一个新角色。 我们将帽子和男人视为两个对象，并分别对其进行跟踪。 第二个（图12）是跟踪3D奔马的关节（使用Maya渲染为2D图像序列）并将其重新定位为卡通瞪羚。

               图10 五组卡通人物因我们的算法而变形。

               从左到右，原始模板模型，分解产生骨架，变形的图形。

             （a）毫米，（b）黑猫中士，（c）齐天大圣，（d）蜘蛛侠，（e）奔马。

动画师的共识表明，我们的方法比许多商业卡通制作公司目前采用的方法更为有效，因为绘制骨骼比绘制整个框架要快得多。 实际上，令人鼓舞的是，我们的设计与他们的动画实践是一致的。 为了创建关键帧，动画师通常会先绘制一个简笔画（即骨骼），然后在该简笔画的引导下将身体形状叠加在顶部。 这个过程称为深层结构。 单独绘制骨骼可以减轻他们的工作量，例如绘制整个角色身体。 他们还相信，一旦建立了2D运动数据库，我们的运动捕捉技术将使动画师的生活变得更加轻松，并对卡通制作行业产生积极影响。

                图12.联合跟踪奔马（a）并重新定位到卡通瞪羚（b）

6 、Discussion and Limitations

在本文中，我们提出了一种基于草图的骨架驱动2D动画技术，该技术以草图为主要输入手段来创建和控制动画伪像。它由两个主要部分组成。首先是通过仅绘制骨骼来快速生成2D角色动画。与传统卡通制作流水线相比，绘制骨架比绘制整个框架要快得多。这允许经验丰富的动画师绘制更密集的关键帧。通过减少关键帧之间的间隔，在许多情况下，中间帧可以主要由软件来产生，而又不影响真实性，这与当前的实践不同，后者通常以人工中间人为主要劳动力，而后者通常很昂贵。给定角色的原始图像和草绘的骨架序列，我们的技术将自动生成具有不同姿势的变形角色。与现有的生产实践相比，它速度更快，劳动强度更低。我们在这方面的理论贡献包括变长针模型，该模型成功地保留了动画过程中角色的全局区域，这对于卡通动画中的挤压和拉伸效果必不可少。以及骨架驱动+非线性最小二乘优化算法，从计算上讲是经济的。我们工作的第二部分涉及基于骨骼的2D运动捕获技术的开发。一旦在运动图像序列的第一帧中建立了骨骼，我们将考虑图像的几何和视觉特征，跟踪每个后续图像的所有关节位置。这种2D运动捕获技术可以应用于各种类型的运动图像，包括2D卡通动画，视频和渲染的3D动画的图像序列。我们的研究还揭示了开发方法的一些局限性。首先涉及模板图像的纹理信息。因为没有2D角色的3D信息，所以较大的姿势更改可能会导致后续帧的正确纹理丢失。尽管在消光，图像完成和纹理合成方面进行了一些研究[18,24,29,30]试图解决此问题，但对于所有2D变形技术来说，这仍然是一个未解决的问题。我们计划在将来使用图像合并技术来解决它。第二个限制是跟踪中的错误累积。当前，我们在每个序列段的第一帧校正跟踪误差。我们计划将来使用更强大的跟踪方法。第三个要改进的地方是重新定位。我们当前的简单方法只是演示我们的运动捕获方法。希望合并3D动画技术（例如[10]）将重新定位视为时空优化问题。为3D动作开发的动作编辑技术也很重要。

References
1. Davis, J., Chuang, E., Slesin, D.: A sketching interface for articulated figure animation. In: Proc. Eurographics/ SIGGRAPH Symposium on Computer Animation, pp. 320–328 (2003)
2. Thorne, M., Burke, D., Panne, M.: Motion Doodles: An interface for sketching character motion. In: SIGGRAPH 2004 Conference Proceedings, pp. 424–431 (2004)
3. Li, Y.: 3D Character Animation Synthesis From 2D Sketches. In: Proceedings of the 4th international Conference on Computer graphics and Interactive Techniques in Australasia and Southeast Asia, pp. 81–90 (2006)
4. Igarashi, T., Matsuoar, S., Tanaka, H.: Teddy: a sketching interface for 3D freeform design. In: Proceedings of ACM SIGGRAPH 1999, pp. 79–89 (1999)
5. Sykora, et al.: Sketching cartoons by example. In: Eurographics Workshop on Sketch- Based Interfaces and Modeling, pp. 27–34 (2005)
6. ToonBoom: http://www.toonboom.com/products/digitalpro/eLearning/ tipsTricks/2008
7. Igarashi, T., Moscovich, T., Hughes, J.F.: As-rigid-as-possible shape manipulation. ACM Trans. Graphics 24(3), 1134–1141 (2005) Sketch-Based Skeleton-Driven 2D Animation and Motion Capture  181
8. Williams, R.: The Animator’s Survival Kit. Faber & Faber, London (2001)
9. Isaac, K.: Applying the 12 Principles to 3D Computer Animation. The Art of 3D Computer Animation and Effects (2003)
10. Gleicher, M.: Retargeting motion to new characters. In: Proceedings of ACM SIGGRAPH 1998, pp. 33–42 (1998)
11. Hsu, S.C., Lee, I.H.: Drawing and animation using skeletal strokes. In: Proceedings of ACM SIGGRAPH 1994, pp. 109–118 (1994)
12. Fekete, J., Bizouarn, E., Cournarie, E.: TicTacToon: A paperless system for professional 2D animation. In: ACM SIGGRAPH 96 Conference Proceedings, pp. 79–90. (1996)
13. Weng, Y., Xu, W., Wu, Y., Zhou, K., Guo, B.: 2D Shape Deformation Using Nonlinear Least Squares Optimization. The Visual Computer 22(9-11), 653–660 (2006)
14. Schaefer, S., Mcphail, T., Warren, J.: Image deformation using moving least squares. In: SIGGRAPH 2006 Conference Proceedings, pp. 255–262. (2006)
15. Wang, Y., Xu, K., Xiong, Y., Cheng, Z.: 2D shape deformation based on rigid square matching. Computer Animation and Virtual Worlds 19(3-4), 411–420 (2008)
16. Fayreau, L., Reveret, L., Depraz, C., Cani, M.P.: Animal gaits from video. In: Eurographics/SIGGRAPH Symposium on Computer Animation, pp. 277–286 (2004)
17. Bregler, C., Loeb, L., Erika, Chuang, E. Deshpande, H.: Turning to the masters: motion capturing cartoons. In: SIGGRAPH Conference Proceedings, pp 121–129. (2002)
18. Hornung, A., Dekkers, E., Kobbelt, L.: Character animation from 2D pictures and 3D motion data. ACM Trans. Graph. 26(1), 1–9 (2007)
19. Sykora, et al.: As-Rigid-As-Possible Image Registration for Hand-drawn Cartoon Animations. In: Proceedings of the 7th International Symposium on Non-Photorealistic Animation and Rendering, pp. 25–33 (2005)
20. Kong, Y., Rosenfield, A.: Digital topology: Introduction and survey. Comp. Vision, Graphics and Image Proc. 48(3), 357–393 (1989)
21. Drori, I., Cohen-or, D., Yeshurun, H.: Fragment-Basedimage completion. ACM Trans. Graph. 22(3), 303–312 (2003)
22. Cornea, D., Silver, D., Min, P.: Curve-skeleton properties, applications and algorithms. IEEE Transactions on Visualization and Computer Graphics 6(3), 81–91 (2006)
23. Shamir, A.: A Survey on Mesh Segmentation Techniques. Computer Graphics Forum 27(6), 1539–1556 (2008)
24. 27. Sorkine, O., Lipman, Y., Cohen-OR, D., Alexa, M., Rossl, C., Seidel, H. P.: Laplacian surface editing. In: Symposium on Geometry Processing, ACM SIGGRAPH/ Eurographics, pp. 179–188 (2004)
25. 28. Wang, J., Bhat, P., Colburn, A., Agrawala, M., Cohen, M.: Interactive Video Cutout. In: SIGGRAPH 2004 Conference Proceedings, pp. 124–131. (2004)
26. Li, Y., Gleicher, M., Xu, Y.Q., Shum, H.Y.: Stylizing motion with drawings. In: ACM SIGGRAPH/Eurographics Symposium on Computer Animation, pp. 111–122 (2003)
27. Eitz, M., Sorkine, O., Alexa, M.: Sketch Based Image Deformation. In: Proceedings of Vision, Modeling and Visualization, pp. 135–142 (2007)