卷积神经网络新方向：Three-column CNN实现无参考立体图像评估

Three-column CNN模型通过同时处理立体图像中包含的平面图像信息，以及差分图像所包含的深度信息，构造了一类新的无参考立体图像质量评估方法，突破了传统的处理思想，有效地将平面信息与深度信息统一的运用到质量评估算法。

模式识别领域国际权威期刊《Pattern Recognition》在2016年1月发表了山东大学视觉传感与智能系统实验室与华为诺亚方舟实验室的研究成果《Learning Structure of Stereoscopic Image for No-Reference Quality Assessment with Convolutional Neural Network》，该文章首次将卷积神经网络（CNN）用于无参考立体图像的质量评估领域，提出了新的研究方法。

随着以立体视频为主的立体信息的广泛推广，为了满足人们的视觉需求，使立体技术得到更加广泛的应用，如何准确评估立体图像的失真程度，并设计出一套能够对立体图像系统各个环节进行质量评估的系统成为图像处理和分析领域中的研究热点和重点。立体图像质量评估由于自身结构原因，与平面图像质量评估相比具有更高的挑战性。立体图像包含平面信息以及深度信息，因此不仅需要分析平面图像质量，同时考虑深度感知质量，因此如何将两者结合起来，特别是在复杂深度场景中，将对立体图像质量度量尤为重要。此外，立体图像质量的计算必须符合人眼的视觉结构特点，如何建立人眼立体视觉机制与立体图像感知评价的统一是当前问题所在，而目前对人类视觉特性不够透彻，准确地模拟人类视觉系统存在较大的困难，因此对质量评估算法有很大的阻碍。

无参考图像质量评估算法Three-column CNN模型

山大视觉传感与智能系统实验室与华为诺亚方舟实验室都致力于深度学习方向研究，研究领域覆盖环境感知、表情识别、图像质量评估等方向。在立体图像质量评估领域，实验室尝试使用卷积神经网络模型（CNN）进行处理，尽管卷积神经网络已成功应用于人脸识别、语音识别等领域，但在图像质量分析方面属于创新性的应用。山大和华为合作构造了一组“Three-column CNN”的结构学习模型，使用多输入的意义在于同时处理平面信息以及深度信息：卷积网络一方面通过处理平面图片，获取平面信息中如图形结构、光影等人类视觉敏感的感知信息；另一方面网络同时处理立体图像对应的差分图像，有效提取复杂环境下的深度信息，从而有效的模仿了人眼立体机制对图像进行感知。在此之外，该网络根据平面图像与立体图像中差分图像的结构相似性，利用平面图像数据库对网络预学习，从而有效解决了立体图像数据不足的问题，进一步提升了网络的学习能力。研究人员表示，该Three-column CNN模型在无参考立体图像质量评估的性能达到了业界领先水平，并已接近全参考算法水平。

如今伴随着立体视频在生活中的快速推广应用，面向立体图像的质量评价的研究也会获得更多来自工业界和学术界的关注，山大张伟博士和华为马林博士表示，将在当前研究基础上继续深入工作以期获得更优秀的结果。

---

2016年5月13日-15日，由CSDN重磅打造的2016中国云计算技术大会（CCTC 2016）将于5月13日-15日在北京举办，今年大会特设“中国Spark技术峰会”、“Container技术峰会”、“OpenStack技术峰会”、“大数据核心技术与应用实战峰会”四大技术主题峰会，以及“云计算核心技术架构”、“云计算平台构建与实践”等专场技术论坛。大会讲师阵容囊括Intel、微软、IBM、AWS、Hortonworks、Databricks、Elastic、百度、阿里、腾讯、华为、乐视、京东、小米、微博、迅雷、国家电网、中国移动、长安汽车、广发证券、民生银行、国家超级计算广州中心等60+顶级技术讲师，CCTC必将是中国云计算技术开发者的顶级盛会。详情访问CCTC 2016官网。