Sketch-a-Net：A Deep Neural Network that Beats Humans

Abatract

（1）我们提出了一种网络架构，它是为手绘草图专门设计的而不是针对自然图像设计的。
（2）开发了两种新的数据扩充策略，利用独特的手绘草图域属性，在多个抽象层次上对手绘草图训练数据进行修改和综合。基于这一理念，我们既能显著增加训练用草图的数量和多样性，又能解决手绘草图中常见的不同级别的草图细节的挑战。
（3）我们探索了不同的网络集成融合策略，包括重新设计的联合贝叶斯方案，以进一步提高识别性能。

我们表明，专门为自然图像设计的最先进的深层网络在草图识别上表现不佳，不管它们是使用照片还是草图进行训练。此外，通过可视化学习的过滤器，我们可以提供有用的洞察，了解我们网络的卓越性能来自何处。

 1 Introduce

（1）介绍了一个新的CNN模型，它有许多架构和学习参数选择，专门用于解决草图的标志性和抽象性。
（2）提出了一种新颖的、独特的面向草图的数据增强策略，该策略通过编程使草图在整体和局部stroke level发生变形，从而生成更大更丰富用于训练的数据集。
（3）为了处理抽象的可变性，进一步丰富训练数据，我们还利用训练笔画的时间顺序和人们先画粗略细节的倾向来利用另一种形式的数据扩充。特别是，我们通过有选择地从草图中删除与后来绘制的笔划相对应的细节笔划，在不同抽象级别生成训练草图。
（4）形成了利用各种实际能提升性能的融合方案来集成网络。
我们的贡献总结如下：
–提出了一种基于DNN模型来学习手绘草图的特征来代替传统的手工提取特征。
–我们利用草图中的顺序排序信息来捕获手绘草图中自然存在的多层次的抽象特征。
–我们提出了一个简单但强大的变形模型，该模型综合了新的草图，以生成更丰富的训练数据。
–我们进一步应用集成融合和预训练策略来提高识别性能。
–我们将模型学习到的内容可视化，以帮助深入了解模型用于草图识别的原因。

2 Related work

2.1Free-Hand Sketch Recognition

 

2.2 DNNs for Visual Recognition

2.3 DNNs for Sketch Modeling

这项工作的早期初步版本发表在2015年。与Yu等人早期版本的Sketcha Net（sn1.0）相比，当前网络（sn2.0）有许多修改。具体来说，sn1.0在训练和测试时都解决了笔画排序和草图抽象问题：（i）及时分割草图，并在dnn中通过不同的输入通道对片段进行处理；（ii）将草图进行多尺度处理，作为网络集成的不同输入。相比之下，在sn2.0中，我们将所有这些考虑都转移到了数据增强阶段。特别是，我们使用笔画时间和几何信息来定义一个简单但强大的数据增强策略，该策略在不同的抽象级别上合成草图，并对其进行变形，以获得更丰富的训练集。结果是一个简化的小模型，这更广泛地适用于测试时的像素映射。此外，新引入的数据扩充策略和简化的网络结构（即模型参数较少）都有助于缓解对稀缺草图数据的过度拟合问题。因此，尽管使用Tu-Berlin基准（74.9VS73.1%）在素描识别任务中，sn1.0比人类略强。但是sn2.0更大程度的超越了人类的识别水平（77.95Vs73.1%）。这两个网络的进一步比较将在第4.2节中讨论。

3 Methodology

3.1 A CNN for Sketch Recognition

3.2 Exploiting Stroke Order

笔画顺序是与在触摸屏上绘制的草图相关的关键信息，而传统照片的所有像素都是并行捕获的。尽管这些信息存在于诸如图柏林这样的主要草图数据集中，但现有的工作通常忽略了这些信息。显然，同一类别中每个草图的特定笔画顺序是不同的，但它们的顺序遵循一个一般规则，即先绘制主轮廓，然后再绘制细节（Eitz等人更具体地说，素描是一个有序的笔画列表，其中一些笔画传达了素描的广泛方面，另一些笔画传达了细节。一般来说，宽刷笔画的特点是先画，较长的笔画，以细节为导向的笔画越晚越短（Eitz等人，2012年）。重要的是，绘制笔画的顺序也对应于不同的抽象层次：要绘制同一对象类别的草图，有些人会在绘制对象的一些轮廓/粗糙轮廓后停止绘制，而其他一些人更喜欢通过增加更详细/更短的笔画来减少抽象/更精细的素描风格。我们利用素描笔画顺序的这些特点，通过逐步从每个训练素描中删除细节，在多个抽象中生成新的素描。具体来说，给出一个由一组n个有序的笔画组成的素描，由i索引，笔画的顺序及其长度a再结合起来计算删除第i个笔画的概率：

其中oi和li是第i个笔画的序列顺序和长度，α和β是这两个因素的权重，z是ENS的归一化常数。是一个离散的概率分布。总的来说，一个笔画越晚越短，就越有可能被删除。图3说明了如何使用笔画删除来增加抽象，通过显示10-60%的笔画用这种方法逐步删除，与随机删除笔画的备选方案相比。很明显，使用我们的删除笔画技术，草图变得越来越抽象，因为只保留较长的和较早的笔画，而随机方案产生了不切实际的外观草图。我们的方法提供了一种简单而强大的方法来利用草图的独特特性来提供数据扩充和建模草图抽象。在第4.2节中可以找到一个比较随机删除笔画和建议的笔画提取的定量实验。

3.3 Sketch Deformation

3.4 Ensemble Fusion