《海上钢琴师》、开国大典视频的超清修复背后，AI超分算法的高光与阴影

看点：神奇！将“马赛克”变高清图，让《海上钢琴师》和《开国大典》大火的技术，牛在哪？

近日，ICCV 2019的图像超分竞赛中，冠军由中国公司夺得。 据获奖方京东方称，其自研“图像超分辨率”算法能使图像的分辨率提升至原来的16倍。 “看得更清楚”是人类基本需求之一，致力于“看清”的图像超分辨率（SR，SuperResolution）算法应用场景广泛。 比如，将低清的珍贵老纪录片或受损的经典影片修复，让老游戏告别马赛克迎来“第二春”，帮助警察看清监控影像上的人脸和车牌，使医生看清“X光片”中病人的病灶，等等。 今年国庆节期间刷屏朋友圈的彩色版“开国大典”真实影像和近期上映的《海上钢琴师》4K修复版都用到了这项技术。

▲彩色版“开国大典”真实影像的修复中采用超分辨率技术 近年来，图像超分辨率重建技术得到了学界和产业界的共同关注。 研发上，无论是学术团队，还是IT巨头、AI创企都纷纷在各大国际顶会上投稿刷榜。 据统计，计算机视觉顶会CVPR 2019收录的18篇“超分”论文中几乎全是华人一作。 产业上，“超分”商用潮下可谓“全行业总动员”。 阿里、腾讯等互联网巨头兴办超分算法挑战赛，华为、小米、vivo等厂商纷纷将超算技术落地在智能手机、智慧屏上，商汤科技、旷视科技等AI创企及京东方等元器件商成为底层超分技术提供者，就连在AI技术上走得相对慢的爱奇艺、优酷等影视平台也推出AI超分算法工具、数据集以支持影视修复和优化。 然而，图像超分算法的高光下也存在阴影的一面。 科研“刷榜”背后技术商用难，论文井喷之下灌水多等问题成为横亘在超分研发成果和落地实践之间的沟壑。 超分算法为什么成为各行各业争相抢占的技术点？ 在互联网公司、手机厂商、AI创企、元器件商等产业玩家及中科院、清华大学、哈工大等学研团队的拥簇下，超分算法技术研发和商用的真相如何？ 超分算法在技术上是如何将“马赛克”变为清晰图像的？ 本文将带你一览产业和学界投射在超分辨率图像技术上的高光和其背后的阴影。

超分算法影响影视修复、消费电子、安防等行业
今年国庆期间，一段12分钟的“彩色版开国大典”真实记录视频刷屏朋友圈。 这正是利用了超分算法等修复技术，将自动化修复与人工修复结合，从而把真实的领袖风采和大国气象呈现给十几亿华夏儿女。

▲彩色版“开国大典”真实影像的修复中采用超分辨率技术 通俗地说，超分辨率 (Super-Resolution，简称超分)技术是提高原有图像的分辨率的技术，主要有插值法、重建法及机器学习方法。 近年来以深度学习为代表的机器学习技术飞速发展，从而使得机器学习支持的超分算法快速引起学界和产业界的关注。 11月15日，经典影片《海上钢琴师》的4K修复版在国内重映，该片经过物理修复、数字修复、艺术修复三大步骤将35毫米的胶片修复成4096×3112分辨率。 时隔20年，广大影迷有了为“自由的灵魂”补票的机会，而这也大大得益于“超分算法”技术。

▲《海上钢琴师》4K修复版近期上映 我国从2007年开启电影修复工程，近年来利用超分算法等AI技术修复影视掀起一阵热潮。 这让许多经典影视重新吸了一波粉，也使一些网友发现了一些之前没有注意到的惊喜细节。

▲网友发现了一些之前没有注意到的惊喜细节 除了影视修复行业，超分技术也被用到了智能手机、智慧屏等终端设备。 早在2017年，华为Mate 10就能将微信朋友圈压缩过的照片进行超分辨率恢复，从而使用户查看的朋友圈照片要比其它手机更清晰。 2018年12月，vivo推出光感美学再升级的X23幻彩版，率先将超分辨率技术应用于手机拍摄，据称，这是基于深度学习算法的超分辨率技术在国内手机上的首次落地。

▲vivoX23在超分算法加持下的拍摄效果 此外，华为、小米的超分算法技术也出现在了各自的新品手机中，用以优化拍摄效果。 安防领域也是超分技术的典型应用场景。 一方面，超分辨率算法可以在公安机关、交警需要的时候，通过提升图像和视频的分辨率来更快地找到违法犯罪人士。

▲超分算法可以应用在安防场景中 另一方面，鱼眼全景摄像头、转角摄像机、低照度摄像机等差异化产品需要利用超分算法缓解边缘模糊、光线不足等问题。 例如科达推出的“AI超微光”即通过深度学习算法提升检测图像在夜间的分辨率。 除此之外，超分算法还在卫星图像、医学图像等领域有一些应用。 例如，医生可以通过超分辨率技术得到更清晰的病灶图像，进而更快速准确地诊断病症，等等。 从信息传输角度，超分算法有助于在高速度低消耗的条件下便捷地获取图像信息； 从影视体验角度，在超清内容稀缺的情况下，超分算法使观众仍能享受4K甚至是8K的绝佳观感体验。

主要玩家动态： 学界踊跃，各行各业总动员
2016年10月，谷歌“RAISR”超分算法横空降世。 这项技术能够在节省75%带宽情况下使分辨率超过原图效果，同时将处理速度提升10到100倍。 不久后，RAISR成为超分算法领域的行业标杆。

▲ RAISR 演算法运行图式下： 原始图像（左），2 倍双三解析（中），RAISR 效果（右） 除了谷歌，美国社交网站巨头Facebook、英伟达等芯片大厂、Adobe等图像软件巨头也在超分辨率技术上有着斐然成果，已将超分技术应用于修复老游戏、遥感优化、一键P图等场景。 虽然超分算法兴起于国外，国产却呈现出后来居上的趋势，这在学术界格外明显。 1、学术成果井喷，互联网巨头造势 据统计，计算机视觉领域三大顶会之一CVPR 2019收录“超分”主题的论文18篇，从一作的名字来看，18篇中只有2篇不是华人一作。 哈工大的应对任意模糊核的即插即用深度超分辨率、旷视科技的Meta-SR、清华大学的二阶注意力网络方法等都是具有代表性的成果。 不仅国内研发成果在“超分”这一经典研计算机视觉究领域大放异彩，产业中的各路玩家也将超分算法作为AI技术的焦点和产业赋能的利器。 首先是互联网巨头，它们凭借资本和人才的金矿以及一呼百应的行业影响力，一边自研算法参与论文刷榜，一边办会、开放平台为“超分”造势、铺路。 这边，阿里刚在CVPR 2018等国际会议上发表“退化类型的卷积超分辨率”等新成果，在2019云栖大会上和优酷视频合办增强和超分辨率挑战赛，推出超分辨率算法平台及优酷数据集。

▲阿里2019 优酷视频增强和超分辨率挑战赛成绩排名 那边，腾讯优图也在CVPR 2018、ICCV 2019等多场国际大会上发布《FSRNet:基于先验信息的端到端训练的人脸超分辨率网络》、《基于属性自光流域的非监督图像转换算法》等多篇论文自证研发实力。 早在2017年，腾讯就将其超分算法TSR应用于腾讯QQ空间适应手机处理速度，据称能为用户节省3/4流量。 近日，腾讯科技配合深圳市科创委、鹏城实验室等单位举办全国人工智能大赛，直指超分技术的“AI+4K HDR”大赛成为两大赛项之一，奖金池达 268 万，成为今年国内奖金额最高的人工智能赛事。 互联网大咖办挑战赛、提供算法平台、开放数据包将为学界的“超分”研究提供强大的助力，不得不承认，资本对超分算法十分看好，商用化、生态化之心按捺不住。 2、手机厂商打头阵，智能终端成练兵场 早在2017年11月，华为就推出HiSR超分辨率技术。 据称，该模型借助其第一款人工智能手机芯片 Kirin 970 和深度学习算法，首次实现了移动端的深度网络超分辨率算法，不仅达到了实时处理的速度，还保证了图片的效果，将能效比提升了 50%。

▲ HiSR 算法提升的效果对比图 今年9月，荣耀在9X PRO中使用超能算法进行“超分辨率重建+Al HDR优化”，官方称拍照画面清晰度能提升10％至20％。 除此之外，华为今年8月推出的智慧屏也采用超分算法，使得原本清晰度不够完美的影视图像变得更加清晰。 不约而同地，小米也在今年1月开源了“小而美”的FALSR超分算法，该算法以快速、精确、轻量级为特异性，具有很强的实用性。

▲雷军表示，小米最新论文基于弹性搜索在图像超分辨率问题上取得了令人震惊的结果 近期，小米发布了1亿像素手机，据称这颗相机单单在算法这一个方向，就有超过1000人的研发人员，相当于一个中小型公司的总人数。 除了华为、小米，vivo也没有在这场超分之战中落后。 2018年12月，搭载了商汤AI超分技术的vivo X23幻彩版推出，被认为是基于深度学习算法的超分辨率技术在国内手机上的首次落地。 据称，使用vivo X23幻彩版拍照，照片在放大后远景细节也能真实呈现，可供用户用于局部裁剪、大画幅打印或者在其它高分辨率设备上查看。 3、AI创企的机会来了 “超分”潮为AI创企带来了千载难逢的机会。 拿商汤科技来说，该公司自称最早于2014年在ECCV（欧洲计算机视觉大会 ） 提出了基于深度学习的超分辨率算法，2018年底终于在第四个年头落地vivo X23。 2018年，商汤科技在CVPR 2018中提出面向生成更自然真实纹理图像的超分辨率算法； 今年，在CVPR 2019上凭借EDVR算法获NTIRE 2019 视频恢复比赛全部四项冠军； 8月，商汤-港中文MMLab整合近两年的研究成果开源图像视频超分辨率工具箱MMSR。 除了商汤科技，旷视科技也将超分算法视为必争之地。 2019年3月，旷视提出超分辨率新方法Meta-SR，据称可通过单一模型解决超分辨率的任意缩放因子问题。

▲旷视提出的任意缩放因子的超分辨率方法的图片处理效果 随着众多产业的AI化，AI算法也不再是IT巨头和AI创企的“专利”。 例如屏幕供应商京东方推出可将图像分辨率放大16倍的超分算法，为智慧屏、手机屏幕的4K、8K超清显示提供了技术支撑； 影视平台爱奇艺在去年推出自主研发的ZoomAI视频增强技术，修复了《三毛流浪记》、《海上花》等多部经典影片。

▲京东方图像处理技术修复图片前后对比

超分辨率算法技术原理： 神经网络支持，九大技术流派
超分辨率重建技术可分两种，一种是单图像超分辨率（SISR，Single image super-resolution），另一种是视频超分辨率（VSR，Video super-resolution）。 目前学术的研究热点是基于深度学习的SISR，但是现实使用中往往多张图片生成的超分辨率图片效果更好，但时间和算力成本也相对更高。 从方法差异的角度来看，超分辨率重建技术可以分为基于插值的重建、基于重构的重建和基于学习的超分辨率重建。

▲图像超分辨率三大方法 近年来，以深度学习超分算法为代表的机器学习超分技术成为学界与产业的关注热点，旧的方法也难以满足许多新的场景需求。 通俗地讲，机器学习就是让机器根据海量数据分析出一个模型，以此来表示事物的规律。 深度学习就是机器学习的一个分支，是利用人工神经网络模型进行机器学习的方法。 人工神经网络包含多个带有不同模型的处理节点（模拟脑神经元），节点间具有连接关系，综合成一个模型（函数）。 假设深度学习需要处理的数据是水流，而处理图像数据的神经网络就是一个由众多管道和阀门组成的水管网络。

▲处理图像数据的神经网络就像一个由众多管道和阀门组成的水管网络（图片源自网络） 那么深度学习网络是怎么将“马赛克”图片变为高分辨率图的呢？ 简单来说，超分模型的训练大致涉及以下几个步骤。 首先，需要将高清图片P1缩小为低清图片P2，再用深度学习网络模型将低清图片P2重建成新的高清图片P3； 然后，将P3与P1进行比较，根据对比P3和P1的相似度来调节深度学习网络模型，就像调节多个“水龙头”一样；

▲超分模型训练示意图 接着，循环往复地调节深度学习网络模型，使得P3和P1更加吻合，直至该模型就能够完成低清图片P2的理想重建； 当然，这个过程还要推演到多张其他图片的训练，训练的图片数越多、图片内容越接近应用场景，超分优化的效果就越好。 在这个过程中，调节深度学习网络模型涉及多个节点的调参，就像需要调节水流系统的成千上万个“水龙头”一样。 这对人来说是一个几乎不可能完成的工作，但对于计算机来说，暴力的计算加上算法的优化，能够很快地给出解决方案。 目前深度学习超分算法的技术流派较多，业内人士认为，主要的热点则聚焦在深广探索、结构探索、内容损失、对抗神经网络、Pixel CNN等领域。

▲也有学者将单图像深度学习超分辨方法分成9大类

超分算法技术与落地存在的问题： 技术商用刚起步，论文易灌水
虽然产业、资本、学界都通过行动支持超分算法的应用落地，并积极推动其在安防、智能终端、影视修复等领域的商业化，但超分算法目前在工业上的应用也只是刚刚走出实验室。 由于工业应用场景十分苛刻，目前超分算法的应用仍然比较困难。 工业界要求模型性能稳定、算法可控，以安防监控为例，如果有5%的概率生成离谱的高清化人脸、车牌，都不太适合被实际应用。 据业内人士爆料，安防巨头大华公司就曾推进过超清算法的研发和商业化，但因为监控场景的落地困难而杳无音信了。 而超分算法在相对比较容易切入的智能手机领域，也只有vivo X23，小米CC9 Pro、荣耀9X PRO等终端应用了超分算法。 目前，华为、小米等手机大厂，商汤、旷视等AI创企的主要动作还更多停留在研发、刷榜、模型开源上。 阿里、腾讯甚至是地方政府机关也着手推进超分技术的竞赛，同时为研发者铺平台、提供数据集，一方面是看中了超分算法这一领域的巨大应用潜力； 另一方面也体现超分技术的现有能效难以满足商业应用需求。 在知乎、豆瓣等论坛中，许多面临填报志愿和找工作的用户询问“超分”是否有就业前景，这让我们从侧面看出这个新领域给外界带来的吸引力。 而高赞评论“如果你有信心把现有算法在实际场景的性能往前拱一步，就是有前景的。 ”则道出了超分技术在应用上的痛点。 除了在商业应用上，超分算法在研发进展上也存在一些问题。 论文数量攀升与论文实质性创新减缓的落差、模型高分与商用价值低的矛盾长期存在。 不过。 也有一些研究通过优化数据集等方法着手特定应用场景的超分算法研究，比如今年涌现出来的3D对象表面SR、高光谱图像SR等等。 权威业内人士告诉智东西记者，超分算法成了最容易灌水的机器学习研究领域之一。 目前，深度超分模型框架上的大创新减少，大多数研究团队都选择通过数据集的优化、已有框架的微创新来争夺奖项。 而在这个过程中，许多“调包”的水论文开始出现，它们本身的创新价值很小，而且难以解决实际应用问题。

结语： 超分技术成新焦点，但商业化存阻碍
近来，超分算法在学界和产业界引发一阵热潮和共振，成为是深度学习图像算法落地应用的典型之一。 一方面，在ICCV、CVPR等国际计算机视觉顶会上超分相关论文量攀升，华人在其中的贡献占据大半壁江山； 另一方面，在产业中，互联网巨头、AI创业、手机厂商、元器件商甚至是影视媒体平台都在积极发展超分算法，可谓“全行业总动员”。 但目前，超分算法领域仍然存在研发灌水多、技术难以商用等问题。 “罗马不是一日建成的”，自Alpha Go打败围棋冠军李世石以来，深度学习技术启封并被应用也不过几年时间。 未来，超分算法需要更多地结合已知场景、目标、传感器等先验知识，形成有针对性的结合应用场景的应用工具。

（本账号系网易新闻·网易号“各有态度”签约帐号）

---

AI生产力创新奖评选

---