手绘图分析（Sketch Analysis）

                                  手绘图分析（Sketch Analysis）

        手绘图分析（Sketch Analysis）在计算机视觉和图形领域是研究的热点问题。手绘图分析包括手绘图识别（Sketch Recognition）、手绘图分割（Sketch Segmentation）、基于手绘图检索（Sketch-based Retrieval ）、基于手绘图建模（Sketch-based Modeling）等等。接下来将会从手绘图分析设计的各个方面进行相关总结。此系列博客作为个人研究的一个学习记录，也希望与各位进行方法的探讨。

1 手绘图识别

1.1手绘图识别的问题与挑战

        草图识别就是完成从笔迹空间到认知空间的映射，即在某个特定领域内赋予草图具体的语义表达。根据草图构成层次复杂度和处理难度来分类，草图分为单笔画图形符号、多笔画推行符号、多个符号组成的整幅草图。相应构成了草图识别的三种对象，第一种：笔画分割、图元识别、笔手势识别；第二种：图形符号识别；第三种：草图理解。草图识别可分为：二维草图识别、三维的草图识别；在线（联机）草图识别、离线（脱机）草图识别；符号化草图识别、非符号化草图识别。草图识别的时机有三种，第一种：提笔即反馈，常用单笔画手势识别、部分草图识别；第二种，用户画完单个图形对象；第三种，整幅草图绘制完成后，进行分割和识别。基于草图的人机交互技术的主要特征是，用户输入的随意性和草图信息的模糊性。草图识别的最大困难在于如何克服这种模糊性。包括单个图形组元的模糊性和上下文关系的模糊性。本文对于手绘图识别方法的描述，主要是是针对完整手绘图在绘制完成后的识别。手写数字的识别到简笔画的识别。

1.2手绘图数据集介绍

 MINST数据集是由Yann提供的手写数字数据库文件，其官方下载地址http://yann.lecun.com/exdb/mnist/。这个里面还包含了对这个数据库进行识别的各类算法的结果比较及相关算法的论文。数据库的里的图像都是28*28大小的灰度图像，每个像素的是一个八位字节（0~255）。这个数据库主要包含了60000张的训练图像和10000张的测试图像，主要是下面的四个文件：

数据展示：

 

TU-Berlin SKetch数据集，其官方现在网址：http://cybertron.cg.tu-berlin.de/eitz/projects/classifysketch/。论文《How Do Humans Sketch Objects?》。该数据集一共20000张图片，包含250类常见的物体，图片尺寸256*256。关于每一类物体的识别率可以从官网上查看

http://cybertron.cg.tu-berlin.de/eitz/projects/classifysketch/computational_classification/index.html。

数据展示：

QuickDraw数据集是345种类别中的5000万张图纸的集合，图片尺寸256*256，由游戏玩家Quick，Draw！提供。绘图被捕获为带时间戳的向量，标记有元数据，包括要求玩家绘制的内容以及玩家所在的国家/地区。您可以在quickdraw.withgoogle.com/data上浏览已识别的图纸。数据集获取：https://github.com/googlecreativelab/quickdraw-dataset

数据展示：

Sketch-RNN QuickDraw数据集，在此数据集中，从每个类别中随机选择75K样本(70K训练，2.5K验证，2.5K测试)，使用[RDP]处理(https://en.wikipedia.org/wiki/Ramer%E2%80%93Douglas%E2%80%93Peucker_algorithm)线条简化，epsilon参数为2.0。每个类别都将存储在自己的.npz文件中，例如cat.npz。Sketch-Rnn 论文《A Neural Representation of Sketch Drawings》

数据展示：

Sketch-500数据集，此数据集为未公开数据集，在论文《Query-Adaptive Shape Topic Mining for Hand-Drawn
Sketch Recognition》中提出，1000个名词，每一个名词收集了相应的500张图片，用来测试QST模型。

数据展示：

MPEG-7 dataset数据集，此数据集用于形状识别，一共70个形状类，其中每个形状类包含表单中的20个不同形状轮廓

二进制图像。此数据集总共包含1400个形状轮廓。参考论文《MPEG-7 Visual Shape Descriptors》

数据展示：

1.3手绘图识别方法

Sketch-A-net：《Sketch-a-Net: A Deep Neural Network that Beats Humans》

github：http://www.eecs.qmul.ac.uk/~tmh/

https://github.com/ayush29feb/Sketch-A-XNORNet

Sketch-RNN：《A Neural Representation of Sketch Drawings》

github：https://github.com/tensorflow/magenta/tree/master/magenta/models/sketch_rnn