原始图与解码后图像的残差,
编码端:
对残差网络进行学习 得到res_true
对解码后图像进行学习得到 res_fake
两个相减得到最终残差 final_res = res_true - res_fake
解码端:
根据码字学习最终残差 final_res
对解码后图像进行学习得到 res_fake
final_res + res_fake deconv得到最真实的残差。
第一步:
对残差网络进行学习 得到res_true ,编码得到码字。
解码码字反学习得到结果。
有些地方有提高,但是有些会下降,因此必须学习得到一个mask网络。
另一想法:
残差学习是针对解码图像进行。但是由于有些区域没有提高,所以同时学习一个mask网络,此网络是输出到码字。
在端码后可以得到真实残差。
在解码图像加一个mask网络,但是不输出。
在解码图像加一个mask网络,输出。
根据解码图像与残差,将残差压缩成一个小图像,然后编码,解码,得到小图像后再次卷积解码成一个大图像。