他们用卷积神经网络，发现了名画中隐藏的秘密
原文链接： https://mp.weixin.qq.com/mp/profile_ext?action=home\x26amp;__biz=MzI0ODcxODk5OA==\x26amp;scene=124#wechat_redirect
作者 | 神经小刀
来源 |HyperAI超神经（ ID: HyperAI）
导语：著名的艺术珍品《根特祭坛画》，正在进行浩大的修复工作，以保证现在的人们能感受到这幅伟大的巨制，散发出的灿烂光芒。而随着技术的进步，高分辨率数字技术的介入，数据信息的逐渐增多，也让 AI 技术能够在画作修复上大显身手。那么在《根特祭坛画》的修复上，AI 技术能够带来哪些惊喜？
《根特祭坛画》（又名《神秘羔羊之爱》），是比利时国宝级瑰宝，也是世界上迄今最具影响力的油画，最受艺术领域关注的大师级作品。
它由 Van Eyck（凡·艾克）兄弟，于 1415 年到 1432 年，历时 18 年完成，是一幅由内外 20 个画板构成一种折叠式巨大画作，完全打开时长 3.5 米，宽 4.7 米。
真迹现存放于比利时根特的圣·巴夫大教堂
但正因为名气太大，这幅画自问世以来，遭遇了多次横祸。
而且，除了人为破坏之外，它也与很多世界名画一样，难逃因灰尘、潮气等的侵蚀，导致画面变色、失去光泽。因此，画作的修复需求也越来越迫切。
近日，伦敦大学与杜克大学利用人工智能来解码《根特祭坛画》的高分辨率 X 射线图像，其研究结果发表在《Science Advances》期刊上：《Artificial Intelligence for Art Investigation: Meeting the Challenge of Separating X-ray Images of the Ghent Altarpiece》。
这一研究有望提高我们对艺术杰作的理解，并为艺术调查，保护和展示提供新的机会。
名画伤痕累累，修复工程浩大
祭坛画是一种画在木板上，安置在教堂圣坛前面，用于装饰的复合画作。《根特祭坛画》取材于圣经，描绘了其中的经典场景，涵盖了 100 多位人物。
这幅作品也是现代油画的开山之作，Van Eyck 兄弟在创作中，首次试验用油调色，使用新的涂料、松脂以及乳剂，以让画面保持经久鲜润的效果，此外，它还因为材质和纹理渲染，以及精致而复杂的构图成为一代瑰宝。
左右分别是闭合和打开的样子
自 1432 年首次展出之后，《根特祭坛画》经历了 7 次被盗、涉及 13 次不同形式的犯罪事件，堪称被盗窃最多的名画，时至今日，仍有一块画板下落不明。
除此以外，和其他艺术珍品一样，它也一直在经历着时间的考验。
原画被长年累月的积尘和蚀变所摧残，光泽和画面都打了折扣。
油画创作中，使用天然树脂制成的清漆，甚至是合成材料，都会随着时间的推移而降解发黄，变得浑浊。
造成表面模糊，画面的色调平衡和图像中的层次感被极大地改变。
因此，根特祭坛画已经经过了多次的清洁和修复，在一次修复中，工作人员惊奇地发现，画作共有 3 层，重绘面积达到了 70 %，
意味着该画经历过两次未被记载的大型修复。
修复前（左）和修复后（右）的色泽发生了很大变化
2012 年 10 月起，在进行了详细的评估之后，博物馆对它开启了浩大的修复工程。
专家们也决定将修复目标从「恢复画面色彩」改为「复原画作的最初面貌」。
工作人员正在进行修复，修复期长达八年
这项工作需要耗费大量的人力和财力，预计最早将于 2020 年完工。
修复的过程包括去除表面灰尘与清漆、恢复画作的色彩的工作，也包含多种扫描成像，建立电子模型的过程。
毋庸置疑，这是一项高难度的工作。
而现在， AI 技术的发展，正为修复工作做出贡献。
修复难题：解读 X 射线图像
在画作修复中，目前已经有了一些成熟的机器学习案例，包括不同阶层的画面的材料识别，裂纹的数字图像修复，隐蔽的设计和可视化呈现。
而在根特祭坛画的修复中，伦敦大学和杜克大学的研究者，最近用深度学习的方式，解决了 X 射线图像扫描上的技术难题。
X 射线照相术（XR）是画作修复中的一项重要方法。
它利用不同材料对 X 射线吸收程度不同的原理，能够表现出画作中的隐藏细节。
在根特祭坛画的修复工作中，建立完整 X 射线图片，也是修复的一个重要步骤。
X 射线图像通过显示清漆或覆盖涂层隐藏裂缝，油漆磨损或其他结构区域的问题，能够帮助修复工作的进行。
此外，扫描图像还可以向工作人员揭示艺术家的工作方法，揭示画布或面板的物理结构及其支撑，以及创作中使用的不同涂层。
但对于根特祭坛画此类作品，在其 X 射线图像图片的解读上，却面临一个严峻的考验。
根特祭坛画中，有几块画板正反面都绘制有图案，X 射线扫描出复杂的三维吸收图案，最终却被记录成二维文件，所以呈现出来的是混在一起的复杂图像。
有几块画板正反面都绘有图案
所以得到的是混合的 X 射线图片（最右）
其中包括多重信息，比如油漆表面形态，显示橡木支撑的结构，木纹、木钉的位置，以及油漆层中的裂缝和磨损。要想获得有价值的信息，必须在这些杂乱的信息中，分离出要分析的单个画层。
由此带来了一个巨大的解读难题，而挑战则在于，如何将混合了双面板的 X 射线图像，分离成相应「单面」绘画的单独 X 射线图像。
破解之术：卷积神经网络
为了解决这个难题，伦敦大学和杜克大学的研究团队，在比利时皇家遗产文化研究所和西蒙斯基金会的支持下，开启了一项研究，提出了一种基于卷积神经网络（CNN）的自监督框架，完美地破解了它。
X 射线得到的混合图像，其实是面板两侧的图像的非线性组合。而这项研究的核心，在于通过建模的方式，找出最终混合图样和每个侧面信息的映射，再借助于一些细节的帮助，进行 X 射线信号的分离。
所以他们的思路转化为，在完全监督的源设置中，从包含混合和单个信号的训练集（可能由同一艺术家以相似的样式绘制的不同绘画）中，让算法分析学习出混合图像到源信号的对应关系。
为此，他们设计了一个自我监督的神经网络，学习如何将 RGB 图像转换为 X 射线图像，然后作为单面板的虚拟图像「重建」
，然后通过最小化重建 X 射线图像的误差，比较与原始混合的 X 射线图像之间的差异，让模型学会实现这种分离。
将 RGB 图像转换为 X 射线图像的神经网络结构
整个过程不使用大量标记数据，而是使用了高分辨率的图像（允许创建大量输入补丁），并基于隐式标记训练网络。
具体细节上，他们构建了七层的 CNN ，每个卷积层之间含有批量归一化和整流线性单元（ReLU）激活层。网络的结构受到了 pix2pix 结构启发（pix2pix 使用条件对抗网络进行图像到图像转换）。
通过训练之后，模型实现了输入混合的 X 射线图像，输出两个单独的面板图片。
分离效果超过了所有其他的方法
这种新的方法，在两个独立的测试图像集上得到了应用，很好地再现了画板中「亚当」和「夏娃」的单独细节，其清晰度也远远地超出了预期。
人工智能，让艺术珍品更长久
通过他们的研究，X 射线图样的分离问题得到了完美解决，甚至研究者都没有预料到，通过对深度学习的方法，得到了如此惊人的清晰度。
一位研究人员兴奋地将这个过程，比作是物理学上的探索：通过实验尝试，找出了没有相关理论解释的意外成果。
而接下来，研究团队希望在其他一些著名的杰作上，尝试这种方法:「我们希望看到类似的人工智能方法，对揭示绘画中其他的隐藏特征带来帮助，例如发现早期隐藏的设计」。
而对于著名的《根特祭坛画》，相信有了 AI 技术的加持，必然能更快地闪耀出它最初的光芒。
论文地址：
https://advances.sciencemag.org/content/5/8/eaaw7416/tab-pdf
(*本文为AI科技大本营转载文章，转载请联系作者)
推荐阅读
六大主题报告，四大技术专题，AI开发者大会首日精华内容全回顾
AI ProCon圆满落幕，五大技术专场精彩瞬间不容错过
CSDN“2019 优秀AI、IoT应用案例TOP 30+”正式发布
我的一年AI算法工程师成长记
开源sk-dist，超参数调优仅需3.4秒，sk-learn训练速度提升100倍
如何打造高质量的机器学习数据集?
从模型到应用，一文读懂因子分解机
用Python爬取淘宝2000款套套
7段代码带你玩转Python条件语句
你点的每个“在看”，我都认真当成了喜欢