从图片到涂鸦：高品质涂鸦的自动生成

Photo-Sketching: Inferring Contour Drawings from Images

从图片到涂鸦：高品质涂鸦的自动生成

项目地址：从图片到涂鸦：高品质涂鸦的自动生成

论文：Photo-Sketching: Inferring Contour Drawings from Images

预训练权重：Pre-train_model

项目概述：

            在本文中，我们的目标是生成轮廓图，边界样图，捕捉视觉场景的轮廓，得到比较有趣的涂鸦。现有技术经常将此问题作为边界检测。然而，边界检测输出中呈现的视觉提示集与轮廓图中的视觉提示集不同，并且忽略了艺术风格。我们通过收集轮廓图的新数据集并提出一种基于学习的方法来解决这些问题，该方法解决了注释中的多样性，并且与边界检测器不同，它可以与注释和实际基础事实的不完美对齐一起工作。我们的方法在数量和质量上超过了以前的方法。令人惊讶的是，当我们的模型在BSDS500上进行微调时，我们在显着边界检测中实现了最先进的性能，这表明轮廓绘制可能是边界注释的可扩展替代方案，同时对于边界注释更容易和更有趣。

           我们提出了一个新的配对图像和轮廓图数据集，用于视觉理解和草图生成的研究。在此数据集中，有1,000个室外图像，每个图像与5个人体图纸配对（总共5,000张图纸）。附图具有粗略地对齐图像边界的笔划，使得更容易将人类笔划与图像边缘对应。使用Amazon Mechanical Turk收集数据集。要求Turkers追踪一个晕倒的背景图像。为了获得高质量的注释，我们设计了一个带有详细说明页面的标签界面，其中包括许多正面和负面的例子。质量控制是通过手动检查实现的，通过将以下类型的注释视为拒绝候选：（1）缺少内部边界，（2）缺少重要对象，（3）与原始边缘有大的不对齐，（4）内容不可识别，（5）用棍子绘制人类，（6）在空白区域遮蔽。因此，除了接受的5,000张图纸外，我们还有1,947份拒绝提交，可用于设置自动质量保护。

项目入手：

1.Setting up:

Setting up:
channels:
- anaconda
- pytorch
dependencies:
- python=3.6
- pytorch=0.3
- numpy
- scipy
- pip:
  - torchvision
  - dominate
  - visdom
  - Pillow==5.0.0

2.使用预训练模型

• 下载 pre-trained model
• 修改权重的路径 in scripts/test_pretrained.sh
• 从项目的根目录下运行 scripts/test_pretrained.sh

3.在你自己的数据集上进行训练和测试

• 从网页中下载图像和渲染草图 project page
• 将他们解压并且以下图中的格式进行组织:

• 修改训练和测试脚本中的路径 scripts/train.sh and scripts/test.sh
• 在根目录下 运行脚本 scripts/train.sh 去训练模型
• 在根目录下, 运行脚本 scripts/test.sh t去进行测试和验证