优酷视频增强和超分表率挑战赛总结

Team 1st
研究现状:
1 残差结构:EDSR
2 多分支结构:REDNet
3循环结构:DRCN
4 渐进式结构:SCN
5 注意力机制:RCAN,DRLN
6 对抗模型:ESRGAN
视频帧对齐
视频帧融合
方法:三维卷积,循环结构,滤波器预测
EDVR:对齐——融合——重建
EDVR问题:
感知能力不够强
对齐模块:
3D Non Local (何凯明)
作者的模型:separate Non local
时序信息不充分
融合模块:temporal and Spatial attention + 3D Conv
特征表达 不高效:resNet Block +channel attention
评委问到了速度问题。
作者:Non local ——
Team 2st
视频特点:场景转换频繁
噪声模型未知
方法:CNN based,resnet based densenet based resnet-densenet based,gan based
作者自己将yuv420转成yuv444来训练网络。
初赛:rcan
融合多帧信息:
作者最后用的RCAN结构:
L1+L2 + gradient 损失函数

比较关注场景切换问题,梯度让边缘更加清晰,适合卡通数据
亮点:实现yuv420转换成yuv444.,self-semble,loss改进,基础网络RCAN;

Team 3st

rgb训练会带来精度损失,作者用y训练的。y比rgb性能高很多;结合edvr的PCD
网络,加入两个参数,自适应加权;
加入多帧对齐,多帧融合模块;
作者使用3d卷积进行特征融合,
作者对yuv三个通道分别训练;

Team 4st
数据格式如何转换,下采样方式是怎样的,
格式转换转成:yuv420 转成yuv444
还是场景切换问题
镜头切换问题:
每个队伍都问了泛化能力

Team 5st
训练数据是yuv格式

Team 6st
yuv转换问题,yuv损失函数。

总结:打比赛,数据处理很重要

你可能感兴趣的:(个人)