岁岁年年人不同——LVS2019多媒体会议见闻（二）

在上一篇文章中记录了第一天的见闻，下面来看第二天。

今天听的第一场演讲来自芒果TV，主题是《QoE驱动的音画体验优化以及在芒果TV的实践》，平心而论，比较水。下面来简单看一下吧。
首先说生产端。第一点是根据视频qp值做自适应丢帧，极端场景下通过主动丢帧换取更好的画面质量

在这里插入图片描述

第二点是在生产端做视频去噪，用的是bm3d

在这里插入图片描述

第三点是视频增强，这里芒果tv只做基于边缘的视频增强，理由是不会增加太多的码率，同时收益也不错

在这里插入图片描述

第四点是基于人眼感兴趣区域的编码优化，也是老话题了

在这里插入图片描述

接下来说客户端，还是基于节省码率的考量，可以将很多源端的画质增强工作转移到客户端去做，比如色彩校正等，在客户端都可以利用opengl来实现。

最后说QoE评价与监控。讲师首先介绍了芒果tv所采用的基于机器学习的无参考画质评价模型，这里将常见的几种画质损伤类型用加权的方法得到最后的质量评价分

在这里插入图片描述

然后是一套舆情分析系统

在这里插入图片描述

基于以上两套系统，可以构建如下的QoE驱动的体验提升架构

在这里插入图片描述

---

第二场演讲是视频编解码专场的，来自百度云的《基于深度学习的内容自适应编码方法》。内容自适应编码最早由netflix提出，近年来国内厂商也开始广泛研究这项技术。

百度云的第一代自适应编码方案做法是以CRF=23时编码所得到的bpp作为视频复杂度的衡量指标，用DNN网络去做复杂度因子的预测，根据复杂度做自适应的编码。

在这里插入图片描述

在这里插入图片描述

到了第二代方案中，以VMAF结果作为驱动，使用DNN来预测编码参数，达到节省码率的目的

在这里插入图片描述

在这里插入图片描述

---

第三场演讲来自腾讯丽影实验室，介绍了无参考视频质量评价方法在视频增强中的应用。之所以探讨这个话题，是因为传统的无参考质量评价是为了让处理后的视频尽量逼近源视频，但是视频增强其实是改善了人眼的观看体验，此时的目标并非尽量逼近源视频，因此传统的质量评价方法也许不再适用。

从下面的打分情况就能看出，传统的编码损伤的rd曲线并不适用于通过锐化做视频增强的场景，在视频增强场景中，主观打分与锐化程度之间的关系类似于一个凸函数

在这里插入图片描述

腾讯的讲师说的很深奥，但本质上他们在这块的工作都是基于下面这篇论文来做的，在他的基础上做了一些改进

在这里插入图片描述

这篇论文原本是做图像质量评价的，那么如何应用到视频质量评价中呢？其实也很简单：对视频抽帧计算改进后的RankIQA，然后取平均值即可。目前还只是用在点播场景中，实现对视频增强效果的质量评价。
效果如下，下方的三个数字分别代表主观评价分、无参考质量评价分和锐化程度。可以看到，有时候过度锐化也会影响主观感知质量。

在这里插入图片描述

---

下午听的是视频编解码专场，主要是VVC和AVS3的新进展，这块基本在网上都能搜到，要是展开讲的话篇幅太多了~暂时略过

---

关注公众号，掌握更多多媒体领域知识与资讯

在这里插入图片描述

文章帮到你了？可以扫描如下二维码进行打赏，打赏多少您随意~

在这里插入图片描述