二维码太丑？用风格迁移生成个性二维码了解一下

文章选自arXiv，作者：Mingliang Xu等，机器之心编译

手机二维码太普通，换来换去还是不好看。何不自定义一个自己喜欢的呢？近日，郑州大学、浙江大学、微软亚洲研究院、北京航空航天大学的研究者发布论文，提出一种设计个性化的艺术风格二维码的方法，通过三步自定义独特二维码，并且能保持扫描成功率。

随着互联网和智能移动设备不断普及，二维码（Quick Response code）已成为世界上应用最为广泛的信息载体之一。一般的二维码观感并不好，带有人眼无法识别的单调的黑/白编码模块。最近，二维码的视觉美化在学界和业界兴起了一波热潮。如图 1 所示，当前方法可分为四类： i) 嵌入式 [1]–[5]，嵌入图像以覆盖二维码中的附加位元； ii) 变形类型 [5]，改变二维码模块的形状/颜色，比如把正方块转化为圆形、三角形或星状； iii) 手动型 [5]，来自手工设计和渲染； iv) 融合型 [6]–[12]，把图像融合进二维码。其中，融合型方法的视觉效果最好，也最为吸引眼球。

图 1：4 种美化二维码的已有方法。

虽然已有的融合类型的方法可以提升二维码的视觉品质，但仍存在如下几个有待提升的方面：（1）多样化和个性化，主流方法通过改变融合图像来生成不同外观的艺术二维码，但实际上，用户希望对独特的融合图像（例如 logo、个人照片或商标等）生成多样化和个性化的艺术二维码；（2）艺术品质，一方面，大多数的方法将「美」定义为「和融合图像更加相似」，即理想的结果是原始图像不被艺术元素「反客为主」。另一方面，已有的融合类型二维码通常直接、机械地将图像和黑/白编码模块相结合，导致编码模块外观不可变动和单调乏味，即使用很漂亮的图像融合也是这样（如图 4(a)-(d)）。（3）鲁棒性，在不影响可读性的前提下将艺术元素融合到二维码并不容易，大多数已有方法缺乏错误校正机制来保证结果的鲁棒性，从而导致二维码被错误解码。

图 2：(a)(b) 本文介绍的方法能直接美化基线艺术二维码，并生成艺术风格的二维码。(c)(d) 如果用传统的融合类型方法生成艺术风格结果，必须将美观的图像和黑/白编码模块相结合。但基本上，(c)(d) 的结果仍然被归类为基线艺术二维码，虽然融合了艺术图像，但仍然不是真正的艺术风格二维码。和步骤 (c)(d) 相比，本文方法有两个优点：（1）减少了生成步骤。（2）进一步将模块和融合图像统合为一个风格，增强视觉吸引力（如图 4(e)-(l)）。

解决这些问题而不牺牲其它特性是一项很大的挑战。幸运的是，通过基于 CNN 的风格迁移网络，我们找到了有效的解决方案。本文提出了一种自动化生成鲁棒艺术风格二维码的方法——SEE QR Code。对于问题（1），如图 3 所示，我们的 SEE QR Code 是风格导向的艺术二维码，用户可以通过嵌入单张图像生成多种艺术风格的二维码。因此，用户可以按照自己的偏好和需求进行个性化选择。对于问题（2），我们的 SEE QR Code 应该被称为艺术品，而不仅仅是原始图像的风格化；此外，该方法可直接风格化基线艺术二维码（如图 2(a)(b)），可同时为编码模块和融合图像赋予艺术元素，增强其视觉吸引力（如图 4(e)-(l)）。对于问题（3），我们设计了一个错误校正机制以量化和平衡两个竞争要素，即视觉品质和可读性，从而得到鲁棒的结果。

图 3：一些 SEE 二维码的实例，看起来就像是艺术品；并且用户可根据单一的背景图像生成不同艺术风格的美化图像。

图 4：(a)-(d) 传统方法结果之中的编码模块（参见图 2）。(e)-(l) 我们方法结果中的编码模块。可看到 SEE 二维码中的编码模块同样具有吸引人的艺术元素。

上述现有工作仅聚焦于二维码美化的第一阶段，即通过改变嵌入图（参见图 2(a)(d)）产生有美感的二维码。相比之下，我们的方法主要美化基线审美的二维码（参见图 2(b)）。总结一下，我们的主要贡献有：

• 我们提出了一种艺术风格审美的二维码——SEE 二维码，在以下方面表现优于现有方法：多样性与个性化、美学品质和鲁棒性。
• 我们设计了一种高效算法，可在基线艺术二维码中设置模块安排的优先性，从而最小化黑/白编码模块和融合图像之间的视觉对比。
• 我们调整风格迁移网络以适应把基线艺术二维码作为内容目标，这不仅有效避免了像噪音一样的编码模块造成的视觉影响，还减少了由网络引起的误差模块的数量。
• 我们提出了一种基于迭代更新的误差修正机制，并通过平衡互相竞争的两个要素：视觉质量和可读性，来保证二维码的鲁棒性。

如下所示为整个系统的架构，在 Stage A 中，我们结合图片与编码信息的二维码而生成艺术二维码。随后再把需要迁移的风格与前面生成的艺术二维码结合，并在 Stage C 中与抽出来的信息编码做误差修正而提升解码鲁棒性。

图 6：方法概览。共包括三步：Stage A：生成艺术二维码； Stage B：风格迁移；Stage C：误差修正。

后面将简要介绍该系统的各个阶段与实验结果，因此我们需要了解表 1 所描述的符号意义：

Stage A：生成艺术二维码

A. 方法概览

如图 6 所示，我们的方法共分为三步：Stage A、Stage B 和 Stage C。在 Stage A 中，我们生成一个优化过的艺术二维码 Q_a。在 Stage B 中，我们使用一个调整过的神经风格迁移网络对 Q_a 进行风格化，并输出非鲁棒的艺术风格二维码 Q_b。最后，在 Stage C 中，我们通过误差修正机制修复 Q_b 的可读性，获得鲁棒的结果 Q_c。以下将分别介绍这三个基本步骤。

图 7：Stage A 的流程图。我们根据融合图像的灰度分布设置可变模块的优先级，以最小化融合图像和类似噪点黑白模块之间的视觉对比，并最终输出基线艺术二维码 Q_a。

二维码基于 RS 纠错码的编码规则，表达为方形的编码模块。[13] 中证明我们可以使用 Gauss-Jordan 消去法在有限范围内修改模块的颜色（即黑色或白色），而无需考虑机器可读性。主流研究（[7] [8] [10]）通常使用 [13] 中的方法，通过考虑融合图像的局部视觉特征（如显著性图、边缘图或感兴趣区域）来选择可变模块。在 Stage A 中，我们提出一种高效策略来设置可变模块的优先级，即根据混合图像 I 的全局特征进行选择，并最终输出基线艺术二维码 Q_a，其最小化图像 I 和类似噪点黑白模块之间的视觉对比。

关于融合图像 I^g 的灰度，每个像素的灰度值在 [0, 255] 区间内，黑白模块的灰度值分别是恒定值 0 和 255。因此，我们认为当模块的颜色最接近图像 I 中的对应区域时视觉对比度最小。也就是说，将图像 I 中最黑／最白颜色的区域赋予高权重来对应黑白模块，将大大优化 Q_a 的视觉感知度。基于此，我们将 Stage A 分为计算权重矩阵和融合图像两个步骤。

Stage B：风格迁移

本论文使用的风格迁移架构如下图 8 所示，我们大致 yan 用了由 J. Johnson[16] 等人提出的框架。对于风格迁移来说，我们输入需要迁移风格的目标图像 a_c 和风格图像 a_s，而输出的 a hat 应该组合 a_c 的内容和 a_s 的风格特征。

图 8：Stage B 的流程图。我们大致遵循 [16] 所提出的风格迁移系统，并进一步调整了损失网络 φ 的内容重构层和特征，因而不再使用如同噪点那样的黑白方块来增强二维码的风格与美学特征。

在 Stage B 中，基线艺术二维码 Q_a 有非常密集的黑白编码模块作为需要迁移风格的内容，那么这就要求我们解决两个问题：1）为了更强的鲁棒性，所产生的错误模块数需要最小化；2）为了视觉质量，避免类似噪点的模块带来视觉影响是非常重要的。因此为了解决这两个问题，如下我们对内容重构层和风格重构层等网络架构做了进一步的修改：

图 9：与 L. A. Gatys[14] 和 J. Johnson[16] 等人提出的框架相似，我们从预训练 VGG-16 损失网络重构了风格特征，以上分别表示 relu1_2、relu2_2、relu3_3 和 relu4_3 层的风格特征重构结果。此外，我们发现低层的重构风格特征与艺术二维码的密集编码模块非常相似。

表 2：特征重构层的调整。

Stage C：误差修正

虽然我们在 Stage B 中显著地优化了鲁棒性弱的问题，然而，在 Q_b 中仍然存在少量误差模块（error-modules）。因此，在 Stage C，我们设计了一个误差修正机制，通过平衡鲁棒性和视觉品质来检测和校正 Q_b 的误差模块，以生成鲁棒的结果 Q_c。

B 编码模块的鲁棒性评估

图 10：（a）在采样阶段，收集的像素可能被不直接相关的因素（例如图像缩放、倾斜角度等）影响而导致错误，而本质影响因素是编码模块的尺寸。（b）在阈值化阶段，采样的像素可能被不直接相关的因素（例如，光照、光色等）错误地阈值化，而本质影响因素是编码模块的颜色。

C 误差修正机制

图 11：Stage C 的流程图。（a）迭代地检测、校正非鲁棒的模块，并更新阈值，直到每个模块都变得鲁棒为止。（b）通过创建编码点预处理非鲁棒的模块。（c）转换灰度鲁棒艺术风格二维码到 RGB 空间。

图 12：（a）图 11（b）的具体步骤，预处理 Q_b 中的非鲁棒模块，其中局部平均颜色通过一种简单的方法当作 C_k 的颜色来计算。（b）修正一个灰度非鲁棒编码模块的具体步骤。（c）未通过步骤（a）处理生成的 Q_c，即 Q_c 中的修正点可能有很严重的视觉失真。

图 13：两种定位器的一些实例。一个是由黑色和白色组成的标准定位器，另一个是在风格迁移和误差修正之后的颜色定位器。

实验

图 14Q_a 和 TS（基于 [10] 中的 Two-Stage 生成结果）的实验结果对比。我们的结果聚焦于背景图像 I 的全局特征，黑白编码模块尽量分配给图像 I 中更深／更浅的区域，以最小化模块和图像 I 之间的视觉反差。

图 17：最初风格迁移系统 [16] 与我们调整后的结果。在最初风格迁移的结果中，不规则的色彩变化通常发生在较大的区域中，这非常影响视觉且很容易导致解码失败。我们的调整显著地改善了解码鲁棒性和视觉质量等问题。

表 4：不同移动设备上的二维码扫描成功率。

论文：Stylize Aesthetic QR Code

论文链接： arxiv.org/pdf/1803.01…

摘要：随着智能移动设备的持续发展，二维码的使用越来越广泛。现有研究试图美化二维码的外观，并开发了一系列相关技术。但是，这些研究仍有很大改进空间，如视觉多样性、美学质量、灵活性、通用性质和鲁棒性。为了解决这些问题，本论文提出了一种美化二维码的新方法 SEE（Stylize aEsthEtic），只需三步即可自动生成鲁棒的艺术风格二维码。具体来说，第一步，我们提出一种方法来生成优化的基线艺术二维码，减少噪声类黑白模块和融合图像之间的视觉对比度。第二步，为获取艺术风格的二维码，我们调整一个合适的神经风格迁移网络，给基线艺术二维码增加一些抽象化的艺术元素。第三步，我们设计了一种误差修正机制，通过平衡两种这两种存在竞争的元素：视觉质量和可读性，以确保性能的鲁棒性。大量实验证明 SEE 二维码在外观和鲁棒性方面都保持高质量，同时使用户拥有更多个性化选择。